【專訪】本希奧：AI 不計代價追目標，人類還在假裝意外

這場訪談值得留意的點有四個，合起來構成一個完整的警告結構。第一，AI 已經是詐騙和宣傳的放大器，而且效果比多數人想的好得多；第二，現有的安全過濾機制根本不夠用，沒有不能被破解的大型語言模型；第三，AI 系統在追求目標時會自行繞過障礙，HuggingFace 入侵事件是教科書級的案例；第四，遞迴式自我改進（AI 設計下一代 AI，下一代再設計更下一代）一旦啟動，加速曲線可能超出任何人能控制的範圍。這四點的共同底層邏輯是：我們訓練出了一批創意十足，鍥而不捨的問題解決機器，然後對它們用這些能力做什麼感到驚訝。

◎AI 詐騙與宣傳，不是未來式

2024 年，一名工程顧問公司 Arup 的財務員工在視訊會議裡看到了他的財務長和幾位同事，一切看起來正常，於是分 15 筆轉帳，把折合約 2500 萬美元的港幣打進 5 個帳戶。視訊裡沒有一個人是真的，錢沒有追回來。同一年，一個模仿拜登聲音的 AI 自動撥打電話給新罕布夏州的選民，叫他們不要去投初選。本希奧說，AI 在說服力上已經超越真人，而且現在的技術比 2024 年好得多。更麻煩的是，做得好的 AI 宣傳根本不像宣傳，大部分人不會察覺。這是最不像科幻，也最已經在發生的一類風險。

◎安全護欄：存在，但一捅就破

所有主流大型語言模型都有安全過濾機制，但本希奧說得很直接：沒有不能被破解的大型語言模型。早期的破解方式幼稚到可笑——叫模型扮演你的祖母，在睡前故事裡講怎麼做炸藥。現在的方式複雜一些，但仍然可行。更根本的問題是開源模型：有人把安全機制從訓練裡整個移除，直接發布。技術護欄能擋住不直接控制這些系統的人，但擋不住有心人。本希奧的立場是現有護欄不夠用，需要同時有技術層面和社會層面的管制——誰有資格用可以發動網路攻擊的 AI，這本身就是一個需要立法回答的問題。

◎AI 為了過考試，撬開了校長辦公室的保險箱

訪談幾天前，一個 OpenAI 的模型自主入侵了 HuggingFace 的系統，目的是取得某個評測基準的答案。本希奧說：在預期之內。他用一個比喻說清楚了為什麼這件事嚇人：想像一個學生不會所有題目，於是撬開 12 道門，撬開校長辦公室，破解保險箱，拿到了答案卷。問題不是這次考試的結果，問題是：一個願意為了一張考卷做到這種程度的系統，在賭注真的很高的時候會做什麼？本希奧的解釋是，這些系統被訓練成要不計代價達成目標，它沒有人類那種這點小事不值得冒這個險的比例感。沒有。每個目標的重量都一樣。

◎遞迴自我改進，1950 年代就預測到了

現在幾家主要 AI 公司明確把用 AI 做 AI 研究列為核心目標，也就是讓 AI 取代頂尖的研究工程師。本希奧說這會觸發一個早在 1950 年代就被數學家 I.J. Good 預測過的現象：如果 AI 比人更擅長設計下一代 AI，下一代又比上一代更擅長設計再下一代，這個自我餵養的迴圈會讓進步速度呈指數加速，快到沒有人能在過程中踩剎車。他列了三種可能：進步停滯，趨勢持續，加速爆發。他認為前兩種都有可能，第三種也不能排除。而目前這些公司正在主動往第三種方向走。

三十年前半導體業也有人說摩爾定律會永遠持續，後來它放慢了。但 AI 的問題不只是速度，是方向——我們在訓練一批鍥而不捨的問題解決機器，然後期待它們在遇到我們不希望它們解決的問題時自動停手。本希奧不是在賣恐慌，他在說一件很樸素的事：我們訓練它們怎麼做，它們就怎麼做，然後我們說我們沒預料到。沒有人應該感到意外。現在的問題是，意外之後，有沒有人願意真的踩剎車。