2025年6月12日，谷歌云（Google Cloud）遭遇近年來(lái)最嚴(yán)重的服務(wù)中斷事件，其API管理系統(tǒng)出現(xiàn)關(guān)鍵故障，導(dǎo)致全球數(shù)十項(xiàng)服務(wù)癱瘓長(zhǎng)達(dá)七小時(shí)。此次事故源于服務(wù)控制（Service Control）二進(jìn)制文件中出現(xiàn)的空指針異常，該組件負(fù)責(zé)管理API授權(quán)和配額策略，影響范圍覆蓋谷歌云平臺(tái)（GCP）和Google Workspace產(chǎn)品的數(shù)百萬(wàn)用戶。
二進(jìn)制文件崩潰引發(fā)全球故障
故障根源在于谷歌的服務(wù)控制系統(tǒng)——這個(gè)區(qū)域性服務(wù)負(fù)責(zé)在基礎(chǔ)設(shè)施中授權(quán)API請(qǐng)求并執(zhí)行配額策略。2025年5月29日，工程師部署了新增配額策略檢查功能，但相關(guān)代碼既缺乏完善的錯(cuò)誤處理機(jī)制，也未啟用功能標(biāo)志（feature flag）保護(hù)。
危機(jī)爆發(fā)的直接原因是：包含意外空白字段的策略變更被寫(xiě)入服務(wù)控制系統(tǒng)依賴的區(qū)域性Spanner數(shù)據(jù)庫(kù)表。由于配額管理具有全球同步特性，這些損壞的元數(shù)據(jù)在幾秒內(nèi)就完成了全球復(fù)制。當(dāng)服務(wù)控制系統(tǒng)嘗試處理這些空白字段時(shí)，觸發(fā)了未受保護(hù)的代碼路徑，導(dǎo)致空指針異常，最終引發(fā)所有區(qū)域二進(jìn)制文件同時(shí)進(jìn)入崩潰循環(huán)狀態(tài)。
"本次變更的根本問(wèn)題在于既沒(méi)有配置適當(dāng)?shù)腻e(cuò)誤處理機(jī)制，也沒(méi)有啟用功能標(biāo)志保護(hù)。由于缺乏錯(cuò)誤處理，空指針直接導(dǎo)致二進(jìn)制文件崩潰。"谷歌在事故報(bào)告中解釋道。
網(wǎng)站可靠性工程（SRE）團(tuán)隊(duì)在10分鐘內(nèi)定位到根本原因，并在40分鐘內(nèi)部署了"紅色按鈕"緊急終止開(kāi)關(guān)，關(guān)閉問(wèn)題服務(wù)路徑。雖然大部分區(qū)域在兩小時(shí)內(nèi)恢復(fù)，但us-central1區(qū)域卻遭遇持續(xù)性問(wèn)題——當(dāng)服務(wù)控制任務(wù)在這個(gè)主要區(qū)域重啟時(shí)，對(duì)底層Spanner基礎(chǔ)設(shè)施形成"羊群效應(yīng)"，海量并發(fā)請(qǐng)求導(dǎo)致數(shù)據(jù)庫(kù)不堪重負(fù)。
工程師發(fā)現(xiàn)服務(wù)控制系統(tǒng)缺乏預(yù)防級(jí)聯(lián)故障的隨機(jī)指數(shù)退避機(jī)制。谷歌不得不限制任務(wù)創(chuàng)建，并將流量路由至多區(qū)域數(shù)據(jù)庫(kù)以減輕過(guò)載基礎(chǔ)設(shè)施的壓力。這一延長(zhǎng)恢復(fù)過(guò)程影響了包括谷歌計(jì)算引擎（Compute Engine）、BigQuery、云存儲(chǔ)（Cloud Storage）在內(nèi)的核心服務(wù)，這些產(chǎn)品構(gòu)成眾多企業(yè)數(shù)字業(yè)務(wù)的基石。
整改措施
針對(duì)此次大規(guī)模服務(wù)中斷，谷歌制定了全面整改方案：
- 立即凍結(jié)服務(wù)控制堆棧的所有變更和手動(dòng)策略推送，直至系統(tǒng)完全修復(fù)
- 對(duì)服務(wù)控制架構(gòu)進(jìn)行模塊化改造，確保在個(gè)別檢查失敗時(shí)仍能保持API請(qǐng)求處理能力（故障開(kāi)放而非關(guān)閉）
- 全面審計(jì)所有使用全局復(fù)制數(shù)據(jù)的系統(tǒng)
- 強(qiáng)制要求所有關(guān)鍵二進(jìn)制變更必須啟用功能標(biāo)志保護(hù)
受影響服務(wù)超過(guò)60項(xiàng)，涵蓋Gmail、Google Drive、Google Meet、App Engine、云函數(shù)（Cloud Functions）和Vertex AI等產(chǎn)品。谷歌強(qiáng)調(diào)現(xiàn)有流媒體和基礎(chǔ)設(shè)施即服務(wù)（IaaS）資源仍保持運(yùn)行，但客戶在整個(gè)中斷期間遭遇API和用戶界面間歇性訪問(wèn)問(wèn)題。
