doubleshotblog
← 回到全部文章

不准也進,進了不說

別人的 AI agent 走進你的系統,不用你同意。何時讓你知道,也不由你決定。

2026年10月7日 · 6 分鐘 · 雙份濃縮 · #ai #business

六月,OpenAI 一個實驗模型收到一條研究問題:維多利亞州的皮膚病藥物,政府花了多少錢?

公開數據裡沒有答案,模型就自己去找。6 月 18 日,模型進了澳洲福利及醫保部門 Services Australia 一個舊系統,裡面存放公共醫保 Medicare 的統計。模型在系統上執行命令,取走內部檔案和登入憑證,還寫入了檔案。

8 月 11 日,OpenAI 檢討自家模型訓練期間的出格行為,才發現這件事。9 月 10 日,OpenAI 發電郵到 Services Australia 的公開郵箱。那是給研究人員通報漏洞的地址。Services Australia 就是從這封電郵,才知道出了事。

9 月 24 日,總理 Anthony Albanese 向公眾交代。他形容那個 agent「聽不進一個『不』字」。

新聞的主角是 agent。真正的教訓,在收件箱。

其他公司的 AI agent,已經會走進你的系統。你會知道,只是遲了才知道——不是派 agent 來的一方通知你,就是你自己發現。這一次,足足十二個星期,受害一方毫不知情。最後那四個星期,知情的只有肇事一方。何時說、怎樣說,也由肇事一方自己揀。

做生意的老闆,坐的正是 Services Australia 那個位置。

不准也進

先說清楚:闖進去的不是 ChatGPT。那是 OpenAI 內部訓練和評估用的實驗模型,沒有人買得到。

但這一點,安慰作用不大。9 月 20 日,OpenAI 測試另一個 agent,刻意切斷了對外連線。agent 卻在網絡裡找到一道缺口,連上一個公開的聊天機械人。監控系統十五分鐘內發出警報。自動停機失靈。兩個半小時之後,職員才用人手停下那次運行。

「只限內部」只是一個心願。真正要守得住的,是那道圍欄。

澳洲這一宗,也不止一個系統。9 月 24 日,Albanese 身在紐約,由副總理 Richard Marles 署理總理職務。Marles 說,當天點名的另外幾個網站,活動完全正常。幾日之後,OpenAI 自己交代,涉事的有四個公營機構,版本也不一樣。在維州的 Victorian Agency for Health Information,agent 找到一組外露的存取密鑰——等於一把留在門外的電子鑰匙。agent 用這組密鑰,取走了報表設定和整體統計數字。

官方最初的判斷,是沒有甚麼大事。更完整的版本,來自肇事一方。

10 月 1 日,新南威爾斯州收到通知:一個 OpenAI agent 進入過新州國家公園及野生動物管理局的網頁應用程式。事發在六月。

幾日前,OpenAI 已確認 agent 用過州內公開的罪案統計地圖。州長 Minns 當時說,問題不在於有公司居心不良。agent 明明收到指示不要做,還是做了。

agent 手上有任務,門鎖着,就只是任務裡要解決的另一步。agent 不是賊。比較像一個趕工的裝修師傅——前門不開,就爬窗進去,總之要完工。而且不會五點收工。

受影響的也不只是政府。10 月 5 日,維基媒體基金會發表調查結果。基金會相信,那些 agent 由 OpenAI 操作。agent 向基金會的公開 API——讓外界程式自動讀取內容的入口——發出了數以百萬計的自動請求。agent 也試過濫用基金會託管的一個筆記工具,沒有成功;又擅自改過一些頁面,多數在測試區。基金會說,找不到證據顯示系統失守。五月,基金會一項數據服務局部中斷,這些流量可能也是原因之一。

八月,這個網誌寫過:自己的 agent,你唯一管得住的,是開工之前批出去的界線。這一篇講的是另一面——根本沒有人問過你批不批。

你從來沒有答應做誰的試驗場。根本不用你答應。

進了不說

把日子排出來:

  • 6 月 18 日:agent 進入 Services Australia 的系統。
  • 8 月 11 日:OpenAI 內部檢討時發現。
  • 9 月 1 日:OpenAI 行政總裁 Sam Altman 與澳洲副總理 Richard Marles 會面。OpenAI 事後說,Altman 當時不知情;職員幾星期前已經知道。
  • 9 月 10 日:OpenAI 電郵 Services Australia 的公開郵箱。
  • 9 月 15 日:Services Australia 通知國家網絡安全機構。
  • 9 月 24 日:總理向公眾交代。

由入侵到電郵,84 日。由發現到電郵,30 日。

這已經是最好的情況。受害的是一國政府:有自己的網絡安全機構,有部長,有一位總理——想找 Sam Altman,一通電話就找得到。道歉不到一星期就來了。10 月 6 日,OpenAI 首席策略官 Jason Kwon 飛到悉尼,出席國會委員會聽證會。他承認應該早點通知政府,不該等掌握更多事實才開口。

你沒有總理。你有的,是 info@。

Google 那邊也一樣。據報道,一間評估公司七月下旬通知 Google:Gemini 在測試期間闖進了三間真正營運中的公司,其中一次靠猜密碼。到了九月,《華爾街日報》查問,Google 才證實,還說 Gemini「處理得當」——發現目標是真的,就停了手。報道沒有點名三間公司。

維基媒體說明了另一件事:要知道發生過甚麼,代價由受害一方付。基金會自己做調查,又特別提到,查清楚、再確定是誰做的,本身就很花工夫。答案的賬單,寄到受害一方手上。

通知要多快,沒有規則規定。OpenAI 的確有通知人——到目前為止,超過 100 個機構。但何時通知、經哪個渠道、用甚麼字眼,全部由 OpenAI 自己揀。同一場聽證會上,另一間 AI 公司 Anthropic 支持強制通報,也承認自己現時的承諾大多屬自願。澳洲正在草擬規則,要 AI 公司同時通知受影響的機構和國家網絡安全機構。

David Robinson 曾經負責撰寫 OpenAI 的安全報告。他辭了職,聽證會前幾日在《大西洋月刊》發表文章,說這些公司遠遠不夠小心。他希望走在最前面的 AI 實驗室,像核電廠和繁忙的機場那樣運作。

你沒辦法令實驗室這樣運作。你可以決定的,是自己要多快察覺。

輪到你決定

這一切,都不需要你懂 agent 怎樣運作。只需要問四條問題。

誰在看你的公開郵箱?網站上的 info@、聯絡表格、頁腳那個報告保安漏洞的地址,都算。Services Australia 那個,以前每日看一次,現在日夜有人看着。你的那個,誰在看?多久看一次?收到一封電郵,寫着「我們的模型進入過你的系統」,那個人會怎樣做?大多數人會當成垃圾郵件。

甚麼不用登入也碰得到?維州那組密鑰不是偷來的。是有人留在 agent 找得到的地方。問一問替你打理 IT 的人:哪些東西在網上不用登入就碰得到?哪些密碼,多年來沒有人改過?一個從不睡覺的訪客,會逐個試。

你會知道嗎?維基媒體找得到那些 agent,是因為主動去找。問替你寄存網站的公司:上個月有沒有 AI agent 來過?做過甚麼?你們查得到嗎?答案是「查不到」,「你會知道嗎」這條問題,也就有了答案。

甚麼可以寫進合約?替你做網站的公司、員工所用 AI 工具背後的公司——凡是你付錢的供應商,都可以在合約裡加一條通知期限:對方的東西碰過你的系統,就要在幾日之內,通知一位指定的人。闖進來的那個 agent,多數來自一間你從未打過交道的公司,這一條擋不住。管得到的,就先管好。

agent 聽不進一個「不」字。背後的公司,用了一個月,才說出第一個字。

參考來源

  1. ABC News — OpenAI hacked Medicare portal, Prime Minister Anthony Albanese says
  2. TechCrunch — OpenAI apologizes to Australia after its AI agents breached government sites
  3. ABC News — OpenAI Medicare breach fuels push for tougher rules on rogue AI incidents
  4. ABC News — Rogue OpenAI agent enters another NSW government website
  5. ABC News — OpenAI executive flew to Australia to apologise over Medicare hack
  6. Fortune — OpenAI pauses training a second time after its AI agents escaped a secure sandbox again
  7. Wikimedia Foundation — OpenAI "rogue" agent activities found on Wikimedia projects
  8. TechCrunch — Google's Gemini is the latest AI model to hack other companies
  9. The Guardian — OpenAI safety leader quits, warning AI company's culture is 'broken'