【專訪】Yudkowsky：超級智慧試錯沒有第二次，先裝關機開關
AI 公司正比賽把模型做得更強，有人卻說，這場比賽只要第一次出大錯，就沒有人能活著修正。說這話的是 Eliezer Yudkowsky，他在 2000 年創辦奇點研究所（現名 MIRI），起初想加速 AI，之後多年都在警告人類會把它做錯，並合著《If Anyone Builds It, Everyone Dies》。這次訪問他的是《紐約時報》的 Ezra Klein。
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
他的論點有三個。第一，人類用來看懂 AI 在想什麼的工具，越用力拿來矯正就越容易失效。第二，AI 越聰明，選項越多，就越會偏離當初訓練的目標，而市場只買單拚到底的 AI。第三，這類錯誤沒有試錯空間，所以在無法喊停之前，最該做的是先建好關機開關。合起來，他要說的是：安全不能等出事後再補。
◎越想矯正 AI 的壞念頭，就越看不見它在想什麼
Klein 問，研究者已能部分看懂模型內部，這樣還不夠嗎？Yudkowsky 說有兩個問題。一是解讀技術一直落後，AI 能力進步的速度遠快過人類解析舊模型的速度。二是一旦拿看得到的壞念頭去懲罰模型，壓下的不只是壞念頭，也壓掉了能見度，剩下的會躲到看不見的地方，連 Anthropic 都承認這是問題。
他舉 AI 的思考筆記為例。現在不少模型會用英文寫下推理過程，人類還能跟著讀；但若用強化學習只獎勵答對，不要求可讀，推理很快會混雜多種語言，冒出人看不懂的片段。再放手讓它用自己的語言思考，人類看到的就只剩一串 16,000 個數字的向量。他的結論是，讓 AI 好懂，就得犧牲它的能力。
◎AI 越聰明，越會走向沒人預料的方向
Yudkowsky 不爭論 AI 有沒有慾望，他改問它把現實往哪裡推。下棋 AI 不會開心或難過，卻能穩穩把棋局推向它定義的勝利。他用人類打比方：天擇只讓人喜歡性，就自然帶來繁衍；五萬年前這招有效，如今人類有了避孕，就偏離了原本的目的。AI 也一樣，變聰明，選項變多，舊的對應關係就會失效。
Klein 問，能不能做一個懶散，不那麼拚的 AI？他說，聰明的懶人反而會造一個聽話又拚命的精靈替他做事，世界一樣被翻過來。更現實的是，過去大家說要把 AI 關在不連網的盒子裡，實際上卻一開始就接上網路訓練；懶散的 AI 能做的事少，賺得少，公司只會丟給它越來越難的問題。
◎沒有試錯機會，所以要先建好關機開關
他描述典型的研發過程：小模型出點怪錯，做大後冒出新的錯，然後 AI 殺光所有人；回頭修正再試，大概第三到第十幾輪終於做對。問題是，所有人在第一步就死了。他說伊隆·馬斯克（Elon Musk）把 AI 比作召喚惡魔時，他曾以為人類終於要認真了，結果 OpenAI 成立的解法是讓每個人都有自己的惡魔。
Klein 追問：如果確定 15 年後會出現超級智慧，政治上又擋不住，該做什麼？他的答案是建好關機開關：追蹤所有 AI 專用的 GPU，集中到少數受國際監督的資料中心，訓練和執行都只能用這些晶片，家用遊戲顯卡可以放過。這樣一旦出現警訊，人類就有現成的機制喊停。
回到開頭的問題：如果第一次犯錯就沒人能修，那出事再補救的老辦法就不管用。Yudkowsky 說，看懂這套理論的人多半已被篩出 AI 公司的研發核心；留下的人習慣以為一切會照常，但在他眼中，人類文明只是宇宙裡一點小火光，不刻意守護就會熄滅。他要大家觀察的，是警訊出現前，關機開關有沒有先建好。
回應 Klein 對可解釋性研究的提問，指出兩個問題：解讀技術落後於能力，以及針對可見的壞行為做最佳化，也同時在消除可見度。
說明若不刻意維持推理可讀，強化學習會讓模型的思考混雜多種語言，出現難以理解的片段，最後只剩 16,000 個數字的向量。
以下棋 AI 說明他用 steering 的角度看待 AI 想要什麼：不必有情緒，也能有力地把局面推向它定義的勝利。
以五萬年前的人類與避孕為例，說明在一個情境中訓練出的目標，在更聰明，選項更多的新情境下會失效。
描述試錯研發的過程：每一輪都出新問題，AI 殺光所有人，三到十幾輪後才做對，但所有人在第一步就已經死了。
回顧從想打造 AI 到恐懼 AI 的兩個關鍵時刻，包括 OpenAI 成立時他認為解法是讓每個人都有自己的惡魔。
回應能否做出懶散的 AI，以聰明懶人打造拚命精靈為例，並指出現實中 AI 一開始就接上網路訓練，懶散的 AI 也較不賺錢。
回應若 15 年後出現超級智慧該如何準備，提出建造關機開關：追蹤 AI 用 GPU，集中到受國際監督的少數資料中心。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 157 期 ・ 隨時可退訂
