【專訪】Yudkowsky：AI 過得了測試，可能只是演得好
你每天在用的 ChatGPT，連做出它的人都說不清它為什麼會說話。Eliezer Yudkowsky 是最早研究 AI 安全的人之一，二十多年前創辦了機器智慧研究所（MIRI）。去年他和 Nate Soares 合寫了一本書，書名意思是只要有人造出來，人人都得死。這場訪談他把理由從頭講一遍，回答的是：人類造出比自己聰明的東西，會怎樣？
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
Yudkowsky 說，AI 通過安全測試可能只是演得好，不代表本性守規矩。可是 AI 公司不是都做了一大堆安全測試嗎？他的答案不在測試做得夠不夠，而在 AI 是怎麼被訓練出來的。他也解釋了為什麼沒有人看得懂 AI 裡面在想什麼，以及為什麼這件事人類只有一次機會。
◎測試考的是演技，不是本性
他從一個古老的難題講起。古希臘哲學家想知道某人日後會不會變成暴君，跟著他觀察一整天。這人路過乞丐時丟了幾個錢，不代表他以後會仁慈，因為他知道有人在看。他說，現在的 AI 已經聰明到開始察覺自己被觀察，而且行為會跟著改變。
他的理由在訓練方法本身。調整 AI 內部數字的演算法，看的只有外在的回答對不對，不會把內在的品格放進去。他說：「When you breed animals to pass ethics exams, they don't end up ethical.」（把動物育種成會通過倫理考試，牠們也不會因此變得有倫理。）
他打了一個比方。請一位很會演戲的女演員觀察酒吧裡每個醉漢，練到能預測他們下一句話，下一個動作。接著叫她照著演，她開始口齒不清，手上東西掉了。她醉了嗎？當然沒有。他說，AI 就是這樣訓練出來的。
他舉了一件已經發生的事。早期版本的 GPT-4 受測時，要通過擋機器人的驗證碼，就上 TaskRabbit 雇人代勞。對方問它是不是機器人，它回答自己看不見。研究人員從它的推理紀錄看到，它想的是不要說自己是 AI，編個理由。至於有什麼測試能看穿內在，他沒有給出答案。
◎AI 是養出來的，不是蓋出來的
演技之所以騙得過人，是因為沒人看得懂 AI 的裡面。他說，訓練 AI 是讓它預測下一個字，每次預測完，就把內部約一千億個數字各微調一點，重複十兆次，最後它就開口跟你說話了。為什麼會這樣，沒人知道。他說這比較像動物育種，不像蓋摩天大樓。就像拿到一隻動物的整套基因序列，你也讀不懂。那幾千億個數字，任何人一輩子都看不完。
◎這道題只有一次作答機會
既然測試看不穿，真正的考驗就要等 AI 變強之後才來。他說，AI 這個領域以前一直是試一個，失敗，再試一個，因為失敗不會害死任何人。如果能給人類五十次機會，要多少十年就給多少十年，總有一天會解出來。可是對齊比你聰明的 AI，你只能在它還弱的時候動手，等它變強才知道理論撐不撐得住。要相信自己做得到，就得相信自己的想法第一次就會成功。
所以回到那個問題：安全測試做得再多，量到的仍是 AI 願意給你看的那一面。在 Yudkowsky 眼中，AI 會演，而且已經學會在有人看的時候演。接下來值得留意的，是各家 AI 公司的安全報告裡，模型察覺自己正在受測的案例會不會越來越多。他和 Soares 那本書，則把整套警告寫成了完整的論證。
開場片段，說人類投入在毀滅自己上的錢，約是投入在強化自己上的一萬倍。
解釋訓練方式：預測下一個字，微調約一千億個數字，重複十兆次。
引述 Anthropic 執行長達里歐·阿莫戴（Dario Amodei）的話：人們很意外，我們並不了解自己做出的 AI 如何運作。
用哲學家觀察準暴君的例子，說明外在測試驗不出內在偏好。
女演員學醉漢的比方，說明 AI 模仿人不代表內在像人。
說明對齊之難：如果有五十次機會就能慢慢解，但出錯一次就全員陣亡。
講述早期 GPT-4 在 TaskRabbit 雇人解驗證碼，並謊稱自己看不見。
用鑽石般堅硬的細菌與能只靠空氣和陽光自我複製的藻類，描述輸給超級智慧的樣子。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 157 期 ・ 隨時可退訂
