在 IT 從業(yè)者中，有著一群比程序員還要低調(diào)且掌管著大數(shù)據(jù)時(shí)代企業(yè)生死命門(mén)的人，他們就是傳說(shuō)中的 DBA。論起 DBA 的工作職能，很多人表示這可比程序員日常復(fù)雜得多，不僅上要和應(yīng)用程序打交道，下還要深入操作系統(tǒng)和硬件之中。所以當(dāng)繼而談起成為一名優(yōu)秀的 DBA 是種怎樣的體驗(yàn)時(shí)？不少過(guò)來(lái)人調(diào)侃道，你能明白那種刪得了庫(kù)跑不了路的酸爽感嗎？
近來(lái)，一名來(lái)自順豐的技術(shù)工程師親身經(jīng)歷告訴了我們，" 對(duì)，沒(méi)錯(cuò)，就是這樣的一種感覺(jué)。"。
日前，據(jù)微博知名互聯(lián)網(wǎng)資訊博主 @大佬坊間八卦爆料，順豐科技數(shù)據(jù)中心的一位鄧某因誤刪生產(chǎn)數(shù)據(jù)庫(kù)，導(dǎo)致某項(xiàng)服務(wù)無(wú)法使用并持續(xù) 590 分鐘。
來(lái)自 @大佬坊間八卦微博
后來(lái)有網(wǎng)友爆料，這位鄧某是順豐科技 IT 數(shù)據(jù)中心應(yīng)用交付技術(shù)部互聯(lián)網(wǎng)產(chǎn)品運(yùn)維組的 IT 運(yùn)維開(kāi)發(fā)高級(jí)工程師。
而事件的起因，據(jù)網(wǎng)上流傳的郵件截圖顯示：
目前順豐根據(jù)公司相關(guān)規(guī)定，已將鄧某辭退，且在順豐科技全網(wǎng)通報(bào)批評(píng)。事件一出，立即引發(fā)圈中程序員們的熱議。很多人無(wú)奈的表示，庫(kù)都刪了，不跑路干什么？記得看好地圖，搭載飛機(jī)跑路，否則或因堵車(chē)，短短幾分鐘之內(nèi)你就會(huì)被抓回了，譬如下面這位：
事實(shí)上，無(wú)獨(dú)有偶，在國(guó)內(nèi)外，刪庫(kù)事件早已不是第一次發(fā)生，相比之下，此次順豐刪庫(kù)帶來(lái)的后果還不算最為嚴(yán)重，接下來(lái)，我們將共同回顧那些年，刪的那些庫(kù)帶來(lái)了怎樣的后果？我們又該如何避免刪庫(kù)跑路事件的頻發(fā)？
01、那些年，刪過(guò)的庫(kù)
大廠(chǎng)說(shuō)：
2017 年 2 月，GitLab 的一位系統(tǒng)管理員在給線(xiàn)上數(shù)據(jù)庫(kù)做負(fù)載均衡工作時(shí)，遭受了 DDoS 攻擊。在阻止了攻擊之后，運(yùn)維人員發(fā)現(xiàn)了數(shù)據(jù)庫(kù)不同步的問(wèn)題，便開(kāi)始修復(fù)，在修復(fù)過(guò)程中，錯(cuò)誤地在生產(chǎn)環(huán)境上執(zhí)行了數(shù)據(jù)庫(kù)目錄刪除命令：
sudo rm -rf
導(dǎo)致 300GB 數(shù)據(jù)被刪成 4.5G，GitLab 被迫下線(xiàn)。
2017 年 6 月，一家荷蘭海牙的云主機(jī)商 verelox.com，一名前任管理員刪光了該公司所有客戶(hù)的數(shù)據(jù)，并且擦除了大多數(shù)服務(wù)器上面的內(nèi)容。
最終導(dǎo)致 Verelox 暫時(shí)將網(wǎng)絡(luò)下線(xiàn)。在發(fā)布的官方公告中，Verelox 表示一直努力恢復(fù)數(shù)據(jù)，但遺憾的是，目前已丟失的所有數(shù)據(jù)可能恢復(fù)不了了。
2017 年 9 月，某 IT 大廠(chǎng)技術(shù)工程師幫助廣西移動(dòng)進(jìn)行擴(kuò)容割接（即增加系統(tǒng)容量）時(shí)，不小心將 HSS 設(shè)備里面的用戶(hù)數(shù)據(jù)格式化刪除，導(dǎo)致廣西移動(dòng)近 80 萬(wàn)用戶(hù)數(shù)據(jù)丟失。
網(wǎng)友說(shuō)：
與此同時(shí)，來(lái)自知乎（http://www.zhihu.com/question/58802374）的不少網(wǎng)友也為曾刪過(guò)的那些庫(kù)，大驚失色，直至現(xiàn)在仍心有余悸：
@張家考拉：
公司新來(lái)一位應(yīng)屆畢業(yè)生，工作能力非常弱，什么都不會(huì)，怎么辦呢？就先讓她幫忙盤(pán)點(diǎn)機(jī)房設(shè)備資產(chǎn)。
就因?yàn)橛袀€(gè)資產(chǎn)標(biāo)簽看不清楚，直接把刀片服務(wù)器拔出來(lái)了，旁邊帶她的人看到，瞬間就石化了。業(yè)務(wù)系統(tǒng)中斷十幾分鐘，領(lǐng)導(dǎo)也沒(méi)說(shuō)什么，就是不讓她繼續(xù)盤(pán)點(diǎn)了，而她，根本不知道自己闖禍了。
@土豆爸爸：
多年前（2001 年），那還是 Unix 字符界面，半夜我例行維護(hù)，刪過(guò)一個(gè)包含二十萬(wàn)本圖書(shū)的庫(kù)。十分鐘自己確認(rèn)出錯(cuò)后，開(kāi)始冒汗，胃部像是被猛打了一拳得開(kāi)始痙攣，疼的我都坐不住。
好一會(huì)我去過(guò)道抽了兩根煙，才回憶起前天做了全系統(tǒng)備份，丟的數(shù)據(jù)不多！
那感覺(jué)，一輩子難忘。
@ai0by：
之前自己做的一個(gè)站，服務(wù)器是在 Vultr 上面，用戶(hù)有 1000 多，訪(fǎng)問(wèn)量不少。某天在 Vultr 上面另開(kāi)了一臺(tái)測(cè)試機(jī)器，測(cè)試完了準(zhǔn)備刪除時(shí)刪錯(cuò)了機(jī)器，把放網(wǎng)站的那臺(tái)刪掉了 ……（有必要吐槽一下 Vultr 的服務(wù)器界面，我以為新開(kāi)的機(jī)器一定是最下面的那個(gè)，然后沒(méi)看直接就刪掉了，沒(méi)想到最下面的那個(gè)不是最新開(kāi)的那臺(tái)?。?/p>
當(dāng)時(shí)只能說(shuō)非?；艔?，好像在夢(mèng)里一樣，滿(mǎn)頭大汗，只能眼睜睜看著一條提示刪除成功的消息，隨即立刻提交了一條 ticket，Vultr 告訴我已經(jīng)刪除掉的機(jī)器是不能恢復(fù)的，瞬間感覺(jué)長(zhǎng)時(shí)間的經(jīng)營(yíng)全部白費(fèi)了，很難想象經(jīng)營(yíng)了那么久一個(gè)失誤操作全完蛋了。
后來(lái)發(fā)現(xiàn)那臺(tái)機(jī)器之前有過(guò)備份，另開(kāi)了一臺(tái)機(jī)器把鏡像恢復(fù)到新機(jī)器上面，時(shí)間是一周前，好歹算是救回來(lái)了，丟失的數(shù)據(jù)后來(lái)自己手工補(bǔ)上了。
刪掉的一瞬間，好多用戶(hù)來(lái)找我，我只能淡定的回復(fù)說(shuō)是在維護(hù)，實(shí)際慌的要死，在問(wèn)題解決差不多后，自己后背都濕透了，再也不想有第二次了，切記做好備份，切記切記！
02、那些年，跑路前，我們還可以做些什么？
和上文刪庫(kù)事件相比，不少網(wǎng)友對(duì)順豐的處理結(jié)果及制度產(chǎn)生質(zhì)疑，紛紛表示：開(kāi)除了涉事工程師，順豐自身就完全沒(méi)責(zé)任？花了這么大的教訓(xùn)培養(yǎng)了一位運(yùn)維就這么拱手讓人了？
剖開(kāi)表面，我們不由深思，順豐以辭退為名，真的能撇開(kāi)其在流程問(wèn)題所因擔(dān)起的責(zé)任？此次出事，好在影響尚未造成無(wú)法挽回的后果，順豐應(yīng)做的不是第一時(shí)間去辭退涉事員工，而是通過(guò)該教訓(xùn)來(lái)看清內(nèi)部的問(wèn)題：
刪庫(kù)事件發(fā)生一方面源于工程師本人的失誤，另一方面是否體現(xiàn)了日常管理流程的松懈，及操作的不規(guī)范？
安全責(zé)任不分明，除了涉事員工，其直接上司不應(yīng)擔(dān)責(zé)？
權(quán)限控制混亂，僅一名運(yùn)維工程師可以直接操作數(shù)據(jù)庫(kù)？
災(zāi)備恢復(fù)能力弱，事件的發(fā)生到恢復(fù)，偌大的順豐企業(yè)花費(fèi)了 590 分鐘？
所以，從以上的種種問(wèn)題來(lái)看，我們?cè)撊绾卧俅伪苊鈩h庫(kù) " 跑路 " 等事件的再次發(fā)生？
對(duì)此，在企業(yè)首先做好權(quán)限管理以及多重審核機(jī)制的同時(shí)，CSDN 也曾教諸多程序員們?nèi)绾卧?Linux 下謹(jǐn)慎使用 rm，避免從刪庫(kù)到跑路的悲劇發(fā)生：
還有無(wú)論是運(yùn)維、DBA 還是程序員們都應(yīng)該在日常 Coding 時(shí)嚴(yán)加注意操作規(guī)范，銘記 " 一失手成千古恨 " 的后果。在審查時(shí)也要做好自動(dòng)容災(zāi)、數(shù)據(jù)同步的步驟，最后，重要的事情說(shuō)三遍，不要忘記：
備份！
【來(lái)源：新浪科技】
