降本增笑：滴滴P0級(jí)故障

2023-12-05 09:46:30

降本增笑，開(kāi)猿節(jié)流帶來(lái)的后果是：9月份，Boss直聘服務(wù)器崩了 11月初，阿里云服務(wù)器崩了，11月底，滴滴服務(wù)器崩了。

本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

2023 年 11 月 27 日晚間，滴滴因系統(tǒng)故障導(dǎo)致 App 服務(wù)異常，不顯示定位且無(wú)法打車(chē)。11 月 27 日晚，滴滴出行進(jìn)行了回復(fù)：非常抱歉，由于系統(tǒng)故障。

11 月 27 日深夜，上海、北京、廣州等多地滴滴用戶反饋，滴滴出行 App 無(wú)法使用，顯示網(wǎng)絡(luò)異常，地圖無(wú)法加載，用戶無(wú)法使用定位功能且無(wú)法打車(chē)。

“滴滴崩了”的話題隨即登上微博熱搜。熱搜話題下不少用戶發(fā)帖表達(dá)自己在使用滴滴 App 過(guò)程中遇到的“奇葩”問(wèn)題。

有用戶反饋雖然打到了車(chē)，但同時(shí)來(lái)了好幾輛車(chē)，有的用戶遇到來(lái)了三輛、有用戶遇到來(lái)了四輛車(chē)，無(wú)法取消，無(wú)法聯(lián)系客服。

圖片

從各平臺(tái)上的反饋來(lái)看，此次滴滴平臺(tái)在接單、定位、計(jì)費(fèi)等環(huán)節(jié)上都出現(xiàn)了問(wèn)題。

有網(wǎng)約車(chē)司機(jī)表示，昨晚 App 崩潰時(shí)剛好在接單，“從晚上 10 點(diǎn) 20 分開(kāi)始什么都做不了，客服電話也進(jìn)不了線。目前恢復(fù)了少部分功能，但不能正常使用，很多錯(cuò)單亂單，還出現(xiàn)了多位司機(jī)接同一單的現(xiàn)象。”

27 日深夜，滴滴出行對(duì)滴滴 App 服務(wù)出現(xiàn)異常進(jìn)行了回復(fù)，滴滴出行稱(chēng)：非常抱歉，由于系統(tǒng)故障，今天晚間滴滴 App 服務(wù)出現(xiàn)異常，技術(shù)目前正陸續(xù)恢復(fù)中。由此給廣大用戶和司機(jī)師傅們?cè)斐刹槐悖俅蜗虼蠹抑虑浮?/p>

圖片

2023 年 11 月 28 日早間，滴滴出行消息稱(chēng)，網(wǎng)約車(chē)等服務(wù)已恢復(fù)，騎車(chē)等在陸續(xù)修復(fù)中。11 月 28 日，在滴滴發(fā)出公告的同時(shí)，記者在上海、深圳等地使用滴滴呼叫網(wǎng)約車(chē)，發(fā)現(xiàn)網(wǎng)約車(chē)功能并未恢復(fù)使用，網(wǎng)絡(luò)加載異常，仍無(wú)法打車(chē)。11 月 28 日，滴滴向記者回應(yīng)稱(chēng)，網(wǎng)約車(chē)服務(wù)已恢復(fù)，司機(jī)乘客權(quán)益陸續(xù)恢復(fù)補(bǔ)發(fā)。

11 月 29 日，滴滴再次發(fā)文致歉，稱(chēng)初步確定事故起因是底層系統(tǒng)軟件發(fā)生故障。

圖片

來(lái)源：https://weibo.com/2838754010/NuMAAaUEl

在滴滴官方發(fā)布這份公告之前，已經(jīng)有資深 IT 技術(shù)人士分析：“從表現(xiàn)上看，打車(chē)、共享單車(chē)全掛，不同的業(yè)務(wù)板塊之間應(yīng)該是有隔離的，說(shuō)明問(wèn)題出在更加底層的基礎(chǔ)設(shè)施。攻擊者一般只能訪問(wèn)到應(yīng)用層，基礎(chǔ)設(shè)施訪問(wèn)不到。要么是被攻擊者打穿，要么是自己系統(tǒng)操作不慎掛了。即便是前者，也算是一種系統(tǒng)缺陷，才會(huì)被打穿。”

360 安全專(zhuān)家認(rèn)為，滴滴閃崩背后的技術(shù)原因可能有六種：

第一，系統(tǒng)更新升級(jí)過(guò)程中出現(xiàn)了編程錯(cuò)誤、邏輯錯(cuò)誤或未處理的異常情況：一般情況下，互聯(lián)網(wǎng)廠商發(fā)布更新都會(huì)在晚上，與滴滴發(fā)生故障的時(shí)間也能對(duì)應(yīng)，當(dāng)然業(yè)務(wù)升級(jí)維護(hù)是放量更新，但現(xiàn)在滴滴全平臺(tái)、全業(yè)務(wù)都故障了，說(shuō)明肯定是他 “家里” 的問(wèn)題。

第二，服務(wù)器故障：比如滴滴的核心機(jī)房，可能恒溫恒濕環(huán)境出了問(wèn)題，導(dǎo)致服務(wù)器過(guò)熱、CPU 燒了，或者核心機(jī)房所在地發(fā)生了自然災(zāi)害如地震、洪水、海嘯等，這種情況下，硬件需要重新更換，里面的服務(wù)軟件也需要重新配置，恢復(fù)周期相對(duì)較長(zhǎng)，但這個(gè)可能性比較小。

第三，第三方服務(wù)故障：滴滴的后臺(tái)架構(gòu)可能使用了第三方服務(wù)或者組件。如果第三方出了問(wèn)題，也可能會(huì)影響滴滴的正常運(yùn)行。但出于安全性考慮，滴滴可能不會(huì)將核心業(yè)務(wù)托管給第三方，不過(guò)這個(gè)可能性也較小。

第四，DDOS 攻擊：黑客采用分布式拒絕服務(wù)的方式，搶占了大量的服務(wù)器資源，導(dǎo)致用戶無(wú)法訪問(wèn)，但這個(gè)不太可能，因?yàn)?DDos 不會(huì)導(dǎo)致數(shù)據(jù)出錯(cuò)，而且滴滴從體量上來(lái)說(shuō)，有足夠的成本和能力去對(duì)抗。

第五，其他網(wǎng)絡(luò)攻擊：某些黑灰產(chǎn)團(tuán)伙可能會(huì)通過(guò)拖庫(kù)盜取數(shù)據(jù)，然后在暗網(wǎng)上售賣(mài)，在這個(gè)過(guò)程中不排除會(huì)有誤操作，破壞了數(shù)據(jù)庫(kù)。

第六，勒索病毒：網(wǎng)絡(luò)攻擊黑客對(duì)滴滴的底層數(shù)據(jù)、業(yè)務(wù)代碼進(jìn)行了加密。據(jù)披露現(xiàn)象，用戶的賬單和打車(chē)數(shù)據(jù)都算錯(cuò)了，存在一定可能是滴滴為了避免更大損失主動(dòng)暫停了業(yè)務(wù)。近期勒索攻擊事件屢屢發(fā)生，月初，某金融機(jī)構(gòu)就是因?yàn)樵庥隼账鞑《竟粼斐闪藰I(yè)務(wù)停擺。

不過(guò)也有網(wǎng)絡(luò)安全公司專(zhuān)家認(rèn)為，如果是來(lái)自外部的黑客攻擊，公司一般會(huì)在第一時(shí)間進(jìn)行聲明。他猜測(cè)更集中于滴滴發(fā)生了內(nèi)部重大業(yè)務(wù)調(diào)整，或有新業(yè)務(wù)接入原系統(tǒng)，但沒(méi)有做好預(yù)案，導(dǎo)致關(guān)聯(lián)業(yè)務(wù)或關(guān)聯(lián)系統(tǒng)出現(xiàn)重大故障，這是大公司系統(tǒng)故障最常見(jiàn)的原因。

因此對(duì)于滴滴此次大規(guī)模的長(zhǎng)時(shí)間故障，有行業(yè)人士認(rèn)為，降本增效可能也是原因之一。

該人士認(rèn)為，互聯(lián)網(wǎng)公司核心業(yè)務(wù)頻繁宕機(jī)，且長(zhǎng)時(shí)間宕機(jī)，是降本增效的附屬品之一。系統(tǒng)投資少了，維護(hù)資源少了，程序員更換頻繁了，BUG 就多。

他舉例稱(chēng)，一般在業(yè)務(wù)上行階段都有冗余，為了迎接隨時(shí)爆發(fā)的訂單，上行階段要維持負(fù)載的上限不能過(guò)大，比如平時(shí) 70%，這樣遇到一個(gè)小爆發(fā)不用擔(dān)心會(huì)出問(wèn)題，足以應(yīng)對(duì)小高峰；但是下行期的邏輯就不同了，負(fù)載很高的時(shí)候抗一抗就行了，雖然后面遇到小高峰可能會(huì)難受，但是隨著時(shí)間的推移總體負(fù)載會(huì)下降。

其實(shí)類(lèi)似故障情況在 2022 年 9 月 22 日也曾出現(xiàn)過(guò)。當(dāng)日滴滴出行官方微博致歉稱(chēng)由于機(jī)房網(wǎng)絡(luò)故障，導(dǎo)致滴滴部分服務(wù)受影響。

然而像今天這樣大面積、長(zhǎng)時(shí)間的故障，應(yīng)該是滴滴史上少有的。以目前情況來(lái)看，大家還無(wú)法確認(rèn)故障原因。有技術(shù)專(zhuān)家感慨于修復(fù)時(shí)間太長(zhǎng)，表示“是時(shí)候廢棄微服務(wù)了，別覺(jué)得自己水平多高，看看今天的滴滴吧。”

而更多人則認(rèn)為這次故障跟“降本增效”有關(guān)。如平時(shí)為了迎接隨時(shí)爆發(fā)的訂單，設(shè)置了足夠多的冗余，但現(xiàn)在可能沒(méi)有給予足夠的冗余量。根據(jù)相關(guān)資料顯示，目前滴滴由滴滴云提供服務(wù)。滴滴云官網(wǎng)顯示，滴滴出行的云計(jì)算服務(wù)基于滴滴出行的業(yè)務(wù)技術(shù)和經(jīng)驗(yàn)積累，采用領(lǐng)先的云計(jì)算架構(gòu)、高規(guī)格服務(wù)器集群搭建、高性能資源配置機(jī)制、精細(xì)化運(yùn)營(yíng)模式，致力于為開(kāi)發(fā)者提供簡(jiǎn)單快捷、高效穩(wěn)定、高性價(jià)比、安全可靠的 IT 基礎(chǔ)設(shè)施云服務(wù)。在今年 2 月，滴滴云發(fā)布公告，由于產(chǎn)品線調(diào)整，滴滴云在 2023 年 3 月 31 日起將不再對(duì)外提供公有云服務(wù)。

圖片

對(duì)于互聯(lián)網(wǎng)大廠研發(fā)和架構(gòu)師常常提到的高可用性，此次事故讓人不禁感嘆，難道同城多活、異地多活只是PPT里的說(shuō)辭嗎？降本增效的所謂互聯(lián)網(wǎng)方式，難道只是裁員留下一堆中層領(lǐng)導(dǎo)天天寫(xiě)PPT來(lái)維護(hù)系統(tǒng)嗎？

降本增笑，開(kāi)猿節(jié)流帶來(lái)的后果是：
9月份，Boss直聘服務(wù)器崩了 11月初，阿里云服務(wù)器崩了
11月底，滴滴服務(wù)器崩了