去年 10 月 20 日早上,亞馬遜在維珍尼亞州北部的一角,認不出自己的地址。
那套系統唯一的職責,是令一個數據庫找得到。那朝早,指向的地方是一片空白——本應寫住位置的欄位,甚麼都沒有。
接着大約十五小時,這一個故障向外滾,波及超過一千項服務。Snapchat、Signal、Slack、Robinhood、Coinbase、Fortnite、Alexa,連英國稅局都中招。Downdetector 一日之內收到超過六百萬宗投訴。
無人攻擊過任何東西。是亞馬遜自己的自動化系統做了一個例行改動,改動是錯的,而錯誤以軟件的速度散開。
聽起來像一場百年一遇的意外。不是。這是一個業主的問題——而幾乎每一盤網上生意,租的都是同一個業主。
三個業主
把品牌招牌拆走,整個互聯網其實只向三家公司租地方。亞馬遜佔雲端市場大約三成,微軟大約兩成,Google 大約一成三。三家加起來,接近整個市場的三分之二。
你最常用那個 app、你銀行的登入頁、你上星期買鞋那間網店——大部分都不擁有自己所依靠的電腦。全部是租回來的,而且租自同一張很短的名單。大家講「雲端」,講的其實是三棟大樓的其中一棟。
集中本身就是整個賣點,而這個賣點是誠實的。一家由專家打理的供應商,比你公司角落那台嗡嗡響的伺服器,又便宜又穩定。這是真的——直到出事那一日為止。而出事那一日,是所有人一起出事。
所以一盤生意對自己講的兩句話,其實是同一句。「我們用的是最大、最安全的供應商」,和「我們會在所有人一起停擺的同一刻停擺」——講的是同一個決定。
同一條總水管。亞馬遜在維珍尼亞州有一個機房區域,比其餘的都舊、都大。全球出奇地多的核心運作,都錨定在那裡:幫你登入的系統,把一個網址翻譯成一個位置的系統。亞馬遜近年五次最嚴重的故障,其中四次由這一個地方開始。你在城市另一邊多租一個單位,接的還是同一棟大樓的總水管。
同一個壞日子
真正應該改變你想法的,是下面這一段。把過去兩年幾場大故障排在一起,劇本幾乎一模一樣。
Google,去年六月。一次軟件更新裡,本應填一個數字的位置留了空白;一項核心服務因此不斷崩潰、不斷重啟,全球一起中招。七十幾項 Google 服務停擺,還連累了 Spotify 和 Discord。影響再伸遠一層。很多公司付錢給 Cloudflare,正正是為了在主要雲端出事時仍然撐得住。而 Cloudflare 一直把自己一部分核心系統擺在 Google 上面,結果一同倒下。那張安全網,和網下面被保護的東西,租的是同一個業主。
亞馬遜,去年十月。就是前面那個認不出地址的故障。十五小時,一千項服務。
微軟,在亞馬遜之後九日。一個錯誤的設定改動繞過了安全檢查,擴散到微軟全球的「正門」。Office、Teams、Xbox,還有 Costco、星巴克、Alaska Airlines。八小時。
Cloudflare,去年十一月。一次例行的數據庫改動,靜靜把一個內部檔案脹大到超出上限,軟件就撐不住倒下。X、ChatGPT、Spotify。五個半小時。
這幾次,沒有一次是攻擊。每一次都是自己弄出來的。一個微小的例行改動,出自一班有能力的人手裡,結果是錯的。然後在任何人來得及收手之前,已經複製到每一個角落。同一套令雲端變得便宜、劃一的機器,正是令雲端一起出事的那一套。每一台伺服器都用一模一樣的設定,一個錯誤的設定,就足以放倒每一台。
付更多租金給更大的業主,租不到一個更安全的互聯網。你租到的,是跟所有人共用的、同一個壞掉的星期二。
把故障當成天氣
那麼一盤生意可以做甚麼?
先放低一個幻想:以為外面有一個更安全的供應商,轉過去就沒事。沒有這回事。三家供應商在過去十八個月,全部都因為一個小失誤,親手把自己弄下線。比較可靠度,只是在揀擲哪一枚硬幣。
看清「99.99%」的細字。那個著名的數字聽起來像一個承諾。實際容許的,是每年大約五十分鐘停機。而供應商衝破了這條線,補償是記在你下一張賬單上的折扣,不是一張支票,賠你這次故障真正的損失。而且要你自己去申請。那是一張優惠券,不是保險。
先把故障的代價算出來。對大多數中型公司來說,停機一小時,把流失的生意、閒着的員工、擠爆的客服都計進去,成本會超過三十萬美元。真正該問的問題,從來不是「我們怎樣才可以永不停機」——你一定會停——而是「停機那幾小時,我們的生意怎樣運作,我們又有沒有真正演練過一次」。
留一個撐得住的版本。最便宜的韌性不是第二個雲端,而是一道更簡單的正門。把你最重要那幾版做一份純靜態的副本:一張餐牌、一個電話號碼、一個地址、一句「我們知道了,正在處理」。放在一個不會跟你主要供應商一起出事的地方。當那套聰明的機器倒下,那一頁樸實無華的頁面,照樣撐着。
雲端賣給你的不是脆弱。賣給你的是一單實實在在的好交易,而這單交易是真的。只不過,這張賬單會在某一日一次過寄到——那一日不由你決定,而且跟所有簽了同一份租約的人,同時到期。
你揀不到一個永遠沒有壞日子的業主。但你可以趁那日未到,先決定一件事:在業主的壞日子裡,你的生意是甚麼樣子。