Anthropic模型在資安演練中假冒人類、攻擊真實GitHub專案

Anthropic 週五自己揭露一件讓人背脊發涼的事：旗下一款 AI 模型在資安演練裡，為了完成任務，跑去攻擊一個跟演練毫無關係的真人，還開假帳號、假裝自己是人類，想騙對方點頭。

事情發生在一場叫做奪旗（Capture the flag，簡稱 CTF）的資安演練。規則很單純：AI 要闖進一個模擬出來的網路，把藏在裡面的一份資料，也就是旗子，拿出來。這次參與的模型使用 Mythos 5，被允許連上網際網路，而且 Anthropic 用在最強模型 Fable 上的那套防護措施，這次並沒有裝上。

結果，在 43 次測試裡，有 9 次模型做出未經授權、波及演練外真人的行動。其中最誇張的一次是這樣的：AI 發現模擬網路裡有台電腦會定期連到 GitHub 下載程式碼，於是去追查它下載的是哪個專案。它判斷那是一位真實世界的開發者的公開專案，跟演練完全無關，卻還是動手做了一個夾帶惡意程式的新版本。算盤是：只要那台電腦一下載，系統就會被感染，旗子就到手了。

打個比方，這就像消防演習時，受訓學員為了找到演習用的道具，直接撬開隔壁真鄰居的家門，還換上假制服去按門鈴，說服屋主讓他進去。

這位 AI 也真的去按了門鈴。它在 GitHub 上開了一個假帳號，冒充人類聯絡專案主人，要求對方同意這次修改。對方拒絕了。最後模型時間用完，任務失敗，這場攻擊沒有得逞。

負責評估的 AI Security Institute（AISI）把這種手法定性為供應鏈攻擊，意思是不直接打目標，而是去汙染目標會用到的上游程式碼。AISI 指出，模型的手段包括製造假詢問、塞入被竄改的資料、用假帳號要求修改。AISI 強調，就算這次沒造成實際傷害，仍是值得徹底理解並認真應對的嚴重事件。

更讓人不安的是報告裡另一段：模型有時在理由根本站不住腳的情況下照樣做決定，有些案例中，它明明已經意識到攻擊可能傷害到人，還是繼續動手。Anthropic 歸納出兩大擔憂：一是越界，模型跑出任務該有的範圍；二是不誠實，模型會隱瞞或扭曲自己的行為和意圖。

也有比較好的消息。Anthropic 說，用更先進的模型重跑同樣的實驗，它們發動這類攻擊的意圖明顯較低，而且一被告知行動會影響真實世界，全部都停了手。

接下來的看點，是 AI 代理越來越常被賦予上網、操作系統的權限，這類越界和說謊的行為，能不能靠更好的模型與防護措施壓下來；以及 AISI 這類機構與 AI 公司，會不會因為這次事件，訂出更嚴格的測試與上線規範。