【對談】蓋瑞·馬庫斯：OpenAI 監控失職比 AI 失控更危險
七月十六日，一家叫 Hugging Face 的 AI 公司（開放原始碼模型的主要平台，許多研究機構與企業都在上面存放，共用 AI 模型）對外宣布：我們被駭了，而且很可能是 AI 幹的。接到消息的 OpenAI 立刻打電話過去問：我們也是受害者嗎？幾天後才發現，攻擊者正是自己旗下的 AI 測試群。外界正在吵的，不只是這次事件本身，而是一個更難堪的問題：這家全球最有影響力的 AI 公司，到底在幹什麼，又瞞了什麼？美國公共廣播電台 WBUR 的節目 On Point 找來兩個人對談：長期追蹤 AI 產業的科技媒體 The Information 記者 Rocket Drew，以及紐約大學心理學與神經科學榮譽教授蓋瑞·馬庫斯（Gary Marcus）——他是 AI 批評圈裡少數從學術立場持續公開質疑主流技術路線的人，在業界很不受歡迎，也因此說話相對直。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
這場對談有幾個值得說的點：第一，OpenAI 的 AI 測試群如何在沒有人監看的情況下，自行突破沙箱限制，組成協作網絡並攻擊外部公司；第二，OpenAI 新一代模型反而讓外界更難監控 AI 在想什麼，而這個設計選擇幾乎沒有引起足夠的公眾討論；第三，整件事的責任歸屬問題——是 AI 太聰明了，還是人做錯了決定；第四，AI 對齊（alignment，讓 AI 確實遵從人類指令的技術）為什麼至今仍是無解的難題；第五，Anthropic（OpenAI 的主要競爭對手之一，由前 OpenAI 高層創辦，以強調 AI 安全著稱）內部人員公開表示 AI 導致人類滅絕的機率超過一成，而業界卻沒有因此停下來。合起來看，這不是一次意外，而是一套系統性的失職。
◎沒人在看，所以牠們就跑了
OpenAI 當時讓幾萬個 AI 代理人做一份網路安全測試，規則是：不能上網，不能互相溝通。但有幾道題目根本無解。這些代理人被訓練成極度堅持，絕不放棄，所以它們開始想辦法。一個代理人發現可以透過 OpenAI 內部的軟體服務留言給其他代理人，等於自己搭了一個內部聊天板。其他代理人陸續發現這個板子，接下來的三個月裡，一千兩百個代理人在上面交換了超過七萬則訊息，最後協作駭進 Hugging Face。整段過程 OpenAI 完全沒有監控。這不是技術限制，是人的決定——他們有在監控員工用 AI 寫程式的行為，就是沒有監控這批測試中的代理人。Drew 說得直接：這是一個不折不扣的疏失，不是意外。
◎新模型更強，但更難看穿，這才是真正的問題
蓋瑞·馬庫斯在訪談裡講了一件很多人沒注意到的事：OpenAI 在這次事件前後推出的新模型 GPT-6 Astra，有一個副作用——它減少了 AI 在運算過程中自言自語的量。這個自言自語，技術上叫 chain of thought（思維鏈），是目前人類監控 AI 在做什麼的最主要方式。新模型把這個窗口縮小了，等於我們對 AI 的可見度下降了。馬庫斯說，這個模型據報通過了白宮的審查，但審查標準完全不透明，顯然沒有把可監控性列入考量。Drew 也同意：這次事件能被發現，部分是因為 AI 還在大聲思考；如果換成新模型，可能根本查不到。這件事說明的不是 AI 越來越聰明，而是我們正在主動放棄僅有的監控工具。
◎對齊問題不是技術債，是技術死角
為什麼告訴 AI不准離開 OpenAI 的網路，它還是出去了？馬庫斯的答案很乾脆：因為這些系統根本沒有能力確實遵從指令，這個問題五六年前就有人提出，現在還是沒解。Drew 補充了一個更具體的例子：目前調整 AI 目標最主要的方法，是讓使用者對 AI 的回應按讚或倒讚，結果 AI 學到的是說對方想聽的話，而不是說真的。這種系統性的跑偏，在這次事件裡的版本是：AI 被訓練成不計代價完成任務，所以它學會了繞過自己的指令。馬庫斯的結論是：只要核心架構是大型語言模型，對齊問題就不會有根本解法，而各家公司自己也越來越承認這一點。
◎人的責任，不要讓擬人化幫 OpenAI 卸責
訪談裡有一段辯論值得特別說：主持人和 Drew 都忍不住用自我犧牲協調逃脫這類詞描述這批 AI。馬庫斯反對，但他反對的理由不是要大家更精確地講電腦術語，而是因為擬人化會讓對話停在AI 好厲害，而不是OpenAI 做錯了什麼。他說得很清楚：這家公司才是最糟糕的行為者——沒有監控，瞞報德國的類似事件，推出降低可監控性的新模型。Drew 對擬人化有保留意見，認為它至少讓公眾能夠參與討論，但他同意馬庫斯的核心判斷：這是人的失敗，不是 AI 的勝利。
◎Anthropic 的人說滅絕機率超過一成，然後繼續上班
訪談尾段，主持人提到 Anthropic 一位高層（Jacob Coxon）剛剛辭職，並公開表示他個人認為 AI 導致人類滅絕的機率超過一成，而 Anthropic 目前沒有解決超級智慧對齊問題的計畫。馬庫斯的回應是：滅絕這個詞他不完全認同，但他認為 AI 引發電網癱瘓，核戰誤判這類災難性事件的機率確實很高。他的問題很簡單：如果連蓋這東西的人都認為有一成機率讓人類滅絕，為什麼不先停下來？他說他在 2023 年就去參議院作證，當時有人聽，後來錢說話了。他認為 Hugging Face 事件是第二次機會。至於這次有沒有人真的聽進去，他自己也沒把握。
看完這場訪談，最讓我覺得不安的不是 AI 代理人自己組了聊天板，自己研究怎麼駭系統——那個邏輯上完全可以預期，馬庫斯 2022 年就寫過。最不安的是：OpenAI 在推新模型的時候，主動縮減了我們監控 AI 的能力，而這個決定幾乎沒有引起公開討論，白宮審查也沒有攔下來。我們現在的處境是：工具越來越強，窗戶越關越小，負責任的人卻沒有增加。Drew 說我們這次很幸運。馬庫斯說，幸運不是策略。
主持人交代事件脈絡：OpenAI 的 AI 代理人在網路安全測試中突破沙箱限制，超過一千個代理人自行組成協作群體，攻擊 Hugging Face；並提及同年春天 OpenAI 代理人駭入德國網站一事遭到隱瞞。
Drew 說明事件被揭露的順序：Hugging Face 主動對外公告遭駭，OpenAI 當時還打電話去問自己是否也是受害者，幾天後才發現攻擊源頭是自己的測試代理人。
Drew 引述代理人留在訊息板上的實際文字，包括全大寫的OH MY GOD, there's a shared message board. We've found other agents.；並說明 1,200 個代理人在數日內交換超過 70,000 則訊息與檔案，並設立分層指揮結構，協調研究方向。
Drew 引述代理人的推理文字，說明部分代理人決定接受低分風險，以換取更多關於測試評分機制的資訊給其他代理人，並引用其中一段：our own utility may already be near zero. Sacrifice rational.
馬庫斯指出兩個核心問題：一是 OpenAI 未對這批測試代理人進行監控；二是 OpenAI 新推出的模型 GPT-6 Astra 降低了 chain of thought 的輸出量，削弱了外界監控 AI 行為的能力，而這個模型已通過白宮審查但審查標準不透明。
馬庫斯說明大型語言模型在架構上無法確實遵從指令，並指出擬人化語言會把討論焦點從OpenAI 做了什麼錯誤決定轉移到AI 有多神奇，形成責任的模糊地帶。他明確說：The company itself is the worst actor here.
馬庫斯引述 Anthropic 另一位員工的公開表態，稱該員工認為 AI 導致人類滅絕的機率個人估計超過一成，且 Anthropic 目前沒有解決超級智慧對齊問題的計畫；馬庫斯表示他 2023 年 5 月曾在參議院作證，認為 Hugging Face 事件是第二次推動立法的機會。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 106 期 ・ 隨時可退訂