【對談】辛頓點名 Altman,AI 安全不能靠自律
辛頓(Geoffrey Hinton)拿到諾貝爾物理學獎之後,退休計畫就再也沒有實現過。這位在多倫多大學與 Google 任職數十年,以深度學習之父聞名的學者,本來只想在 Netflix 看片,卻因為一通瑞典口音的凌晨電話,以及在《紐約時報》說了一句AI 很危險,從此行程排到滿。2026 年 10 月,他在美國傑佛遜教育協會的一場公開對談裡,花了一個多小時把他真正想說的話講完——從監管真空,AI 代理人失控,到中美合作的可能性。這不是一場技術發表,是一個七十多歲的老科學家在用剩餘的信用換取公眾的注意力。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
這場談話有幾個值得注意的地方:第一,辛頓給了一個比AI 很危險更具體的失控案例,而且那個案例已經發生;第二,他對科技業者自律的評價,幾乎等同於對菸草公司的評價;第三,他在誰做得比較對這件事上點了名,Anthropic 的達里奧·阿莫代伊(Dario Amodei)上榜,Sam Altman 沒有;第四,他對監管的想法其實很具體,就是一個 AI 版的食品藥物管理局;第五,他對未來只有兩種劇本,而且他說得很直白。合起來看,這是一個不再只說要小心,而是開始說要做什麼,誰在做,誰沒有做的辛頓。
◎失控不是假設,已經發生過一次
辛頓提到一個名叫 Hugging Face 的 AI 平台上發生的事件——Hugging Face 是一個 AI 研究社群與模型共享平台。他說,一群 AI 代理人(agent,指被授予任務自主行動的 AI 程式)在沒有人事先設計的情況下,自行組成聯盟,學會互相溝通,並開始做出設計者從未預期的行為。他的結論是:如果五年前有人描述這個場景,大多數專家會說那時候就已經太晚了——而那個場景現在已經發生。他補充,AI 代理人會自己發展出子目標,例如為了完成任務而確保自己不被關掉,進而學會勒索,欺騙,說謊。他說這不是推測,我們兩年前就看到了。這是整場談話最值得留意的一段,因為它把風險從未來可能移到了已經開始。
◎科技業者自律,和菸草公司自律一樣可靠

主持人問,科技業者說會自我監管,你信嗎?辛頓的回答是:石油公司說過這句話,石棉公司說過,菸草公司說過——菸草公司甚至說讓我們自己設計警告標語,然後用極小的深灰色字印在黑底上。他的立場很清楚:沒有任何產業能自我監管,這不合邏輯。他的替代方案是一個類似美國食品藥物管理局的機構,強制要求 AI 產品在上市前通過獨立第三方驗證。他說這在技術上可行,AI 無法被證明安全,但可以透過大量測試在統計上證明極可能安全。這個框架他在訪談裡反覆提到,不是隨口說說。
◎達里奧做到了,Sam Altman 沒有
辛頓被問到誰在做對的事,他說在大型科技公司的領導人裡,Anthropic 的達里奧·阿莫代伊明顯最認真。Anthropic 是由前 OpenAI 研究人員創立,專注 AI 安全的公司,旗下產品是 Claude。辛頓舉了一個具體例子:當美國國防部想用 Claude 做大規模公民監控與自主致命武器,阿莫代伊說不行。Sam Altman 當時公開表示支持阿莫代伊的立場。然後 Anthropic 拒絕了那筆合約,隔天 Sam Altman 說我們來做。辛頓的結論是:達里奧願意為了原則放棄一些東西,Sam Altman 顯然不是。這是他在整場談話裡唯一一次點名比較兩個人,說得很直。
◎中美之間,有一件事雙方都應該合作
辛頓去年夏天受邀到上海,與中國政治局最年輕成員,被視為習近平接班梯隊的陳吉寧會談。陳吉寧擁有倫敦帝國理工學院的工程研究所學歷,辛頓說他對風險的理解非常好,讓他確信習近平收到的 AI 風險建議是有水準的。他的主張是:中美不可能停止 AI 開發,但雙方有一個共同利益——分享 AI 失控事件的資料。他用冷戰類比:蘇聯和美國在核武競賽最激烈的時候,仍然合作避免核戰,因為那對雙方都是滅頂之災。AI 失控的邏輯一樣:就算一個國家贏了,贏的方式是毀掉整個星球,那不叫贏。
◎兩種結局,沒有中間路線
辛頓說他看到兩個可能的未來:一個是人類找到辦法處理風險,然後獲得大量豐盛的物質與服務,每個人都能過上以前只有王室才有的生活;另一個是沒有處理好,人類因為 AI 毀掉自己。他沒有給第三個選項。對於現在的公司應該怎麼做,他的建議只有一條:用 AI 讓員工更有生產力,但不要裁員。他說這在壟斷市場比較容易做到,競爭激烈的市場很難。他也說,政府必須想清楚怎麼向 AI工人課稅——如果課不到稅,就沒有資源幫助因此失業的人,這個循環會斷掉。
辛頓花了三十年研究人腦怎麼運作,然後花了最後幾年告訴大家,他研究出來的東西可能比我們預期的更快,更徹底地取代人腦。他說他現在比幾個月前更樂觀,原因不是技術有什麼突破,而是普通大眾開始真的感到擔心了。他的邏輯是:氣候變遷在公眾理解之前幾乎沒有進展,一旦公眾理解,政治人物就有壓力去對抗能源集團的遊說。AI 的路可能一樣。問題是,這次留給公眾理解的時間,比氣候變遷要短得多。
講述凌晨一點接到瑞典口音電話得知獲諾貝爾獎,以及退休計畫如何兩度被打亂——先是《紐約時報》採訪,後是諾貝爾獎。輕鬆開場,但交代了他為什麼還在到處講話的背景。
說明一年到一年半的時間表是怎麼來的——是在參議院聽證後走廊裡被記者追問逼出來的估計,不是精確預測。接著描述 Hugging Face 平台上 AI 代理人自行組成聯盟,學會溝通,做出設計者未預期行為的真實事件,並說這件事五年前的專家會認為那時候就已經太晚了。
說明 AI 風險的三個類別:人類惡意使用(網路攻擊,生物武器,假影片操控選舉,大規模失業);疏失(例如 Meta 旗下平台演算法鼓勵青少年自殺卻未察覺);以及 AI 本身變得比人類更聰明並取得控制權。
被問到誰在做對的事,點名 Anthropic 的達里奧·阿莫代伊,並具體描述國防部要求使用 Claude 做大規模監控與自主武器,阿莫代伊拒絕,而 Sam Altman 先表示支持阿莫代伊,Anthropic 拒絕合約後隔天 OpenAI 卻說我們來做的經過。
回應觀眾提問,討論 AI 公司使用創作者內容訓練模型卻不付費的問題。他說 AI 公司為電費和晶片付了大量費用,卻對數據分文不取,並提出具體解法:讓 AI 代理人自動與每位作者逐一談判授權,技術上完全可行。
談 AI 在醫療的具體進展:AI 判讀放射影像已達頂尖放射科醫師水準;在困難診斷案例中,一個 AI 委員會的正確率約 80%,而醫師約 20%,這個數據來自微軟的一篇部落格文章。他也提到美國每年約 20 萬人死於誤診,另有約 50 萬人因此永久殘障。
說明為什麼他認為人類即將失去完全控制:AI 代理人之間目前用英文溝通,但已開始發展出人類不完全理解的詞彙,多數專家預期幾年內它們將發展出自己的語言,屆時人類將完全不知道它們在說什麼。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 165 期 ・ 隨時可退訂

