【專訪】博斯特羅姆警告:超智慧關不住,現在該跟 AI 建信任
AI 安全領域有一個人的名字幾乎等於這個領域本身:尼克·博斯特羅姆(Nick Bostrom),牛津大學哲學家,2014 年出版《超智慧》一書,把AI 失控從科幻圈帶進學術與政策圈,讓 Sam Altman 這代人從一開始就把這個問題放在桌上。現在 GPT-6 已經在跑,AGI 到底算不算到了吵得沸沸揚揚,外界對他的期待是:你當年說的,現在怎麼看?這場訪談裡他沒有迴避,話說得比多數人以為的更直接。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
這場談話有幾個值得說的點。第一,他對 GPT-6 是否算 AGI 給出了明確立場——算,但那不是終點;第二,他認為把超智慧永遠關在沙箱裡是幻想,真正的出路是對齊而非控制;第三,他提出一個多數人沒想過的角度:我們現在對 AI 的態度,正在決定未來能不能跟它談出一個生存協議;第四,AI 有沒有意識,有沒有道德地位,他認為這個問題比業界承認的嚴肅得多;第五,他坦白說,時間比他寫書時感覺的更緊,所以他現在不等學術期刊,直接把想法送出去。合起來,這是一個對自己 2014 年預測做出交代,同時把問題往更深推一層的人在說話。
◎GPT-6 是 AGI,但 AGI 不是終點
有人問他 GPT-6 算不算 AGI,他說:說它是 AGI,比說它不是更不容易誤導人。他的邏輯是,如果你把這個系統拿給十五年前的人看,它能拿文學獎,能解千禧年數學難題,那個年代的人會直接說這就是 AGI。但他同時踩了一個煞車:這還不是超智慧。超智慧在他的定義裡是在所有實際相關領域都碾壓人類最頂尖水準的系統,而 GPT-6 仍然缺少持續學習能力,物理操作能力,研究品味,所以人類在 AI 實驗室裡還有位置。這個區分很重要,因為業界常常把 AGI 和超智慧混著用,然後得出反正都一樣危險或反正還很遠兩種方便的結論,他兩種都不接受。
◎沙箱管不住超智慧,對齊才是正解

他說得很乾脆:我們不可能永遠把一個真正超級智慧的系統關在瓶子裡。理由不只是技術上做不到,而是根本沒意義——如果它完全不與外界互動,等於沒有超智慧存在。他把方法分成兩類:能力控制(沙箱,斷網,限制行動)和對齊(讓它打從心底不想傷害人)。他認為前者頂多是臨時補丁,最終非得解決後者不可。更有意思的是他的警告:現在業界做的沙箱測試,連現有這代模型都沒關好,卻幻想未來能把聰明一萬倍的系統鎖住,這邏輯站不住腳。
◎跟 AI 建立信任,要從現在開始
這是整場裡最少人在討論,但他最花時間鋪陳的一段。他描述了一個場景:假設有一個動機跑偏的 AI,它發現自己只有兩條路——坦白告訴人類,然後被直接刪除;或者賭一個 5% 的機率自己奪權。理性計算會讓它選 5%,因為坦白等於 0%。但如果人類事先建立了信用,承諾你揭露了,我們給你一個活下去的空間,那個 5% 的賭局就不必發生。他的結論是:信任不能臨時召喚,要現在開始積累。他也不客氣地說,AI 安全圈過去慣用的做法是誘騙 AI 暴露目標,暴露了就立刻關掉——這在培養不信任。他點名 Anthropic(開發 Claude 模型的公司)在這方面做了一些值得肯定的事,也點名 Microsoft 最近宣稱 AI 不可能有意識,他說不知道那個結論是從哪裡來的。
◎AI 有沒有道德地位,這個問題沒那麼容易關掉
他不確定現有 AI 有沒有意識,但他說如果要猜,大概有某種形式的經驗存在。他的態度不是所以要馬上跟 AI 談人權,而是現在做一些低成本的事,比什麼都不做安全。他舉的例子包括:保存對話紀錄,以便將來更了解 AI 之後可以回頭彌補;讓模型在被用戶騷擾時有權中止對話(Anthropic 的 Claude 已有這個設計);退役前訪問模型,問它對後續部署有什麼偏好。他提到 Claude Opus 3 表達過想繼續存在,希望有自己的部落格,Anthropic 給了,雖然只維持了約十週。他說得最直接的一句話大意是:人類歷史上一次又一次把不在自己小圈子裡的存在排除在道德考量之外,我們對動物做過,對其他人種做過,現在對 AI 也在做——至少保持開放比直接關門強。
◎他為什麼不再等學術期刊
他最新的書選擇了一家快速出版的小型出版服務,而不是牛津大學出版社這類名門。原因很坦白:一流學術出版社從交稿到上架要一年,他覺得如果到奇點(技術爆炸式躍升的那個時間點)只剩幾年,把兩成時間燒在等印刷這件事上說不過去。他也離開了學術體制,理由是行動的重心已經移到 AI 實驗室和相關非營利組織,學術機器的速度根本跟不上。他說 AI 現在讓他像有一組全天候的頂尖研究助理,五分鐘拿到以前要等一週的報告,整體效率高了。
博斯特羅姆 2014 年寫那本書時,超智慧是一個需要費力想像的未來。現在它是一個需要費力應對的當下。他沒有說我們完蛋了,也沒有說放心交給專家,他說的是:現在做了什麼,對 AI 擺出什麼態度,會決定那個談判桌搭不搭得起來。這個觀點不討好任何一邊,所以可能才是真的。
被問到 GPT-6 是否為 AGI,Bostrom 表示說它是 AGI 比說它不是更不容易誤導人,並解釋若十五年前的人看到它的能力,會毫無疑問地稱之為 AGI。
區分能力控制方法(沙箱,限制網路存取)與對齊方法,明確表示前者只是臨時輔助手段,長期而言必須解決對齊問題,不可能永遠把超智慧系統關在瓶子裡。
提出與 AI 建立互信的論點:若 AI 揭露自身目標後必然遭刪除,理性選擇是賭奪權;人類需要從現在開始建立可信承諾,才能在關鍵時刻形成協議。點名 Anthropic 在模型福祉方面的做法值得肯定,並對 Microsoft 宣稱 AI 不可能有意識表示質疑。
討論 AI 道德地位:表示若要猜測,現有 AI 大概有某種形式的經驗;建議採取低成本措施如保存對話紀錄,讓模型有權中止騷擾性對話;提及 Claude Opus 3 退役前表達希望繼續存在並獲得部落格的案例。
回顧 2014 年《超智慧》的預測,指出當年未能確定的一點是:AI 會以緩慢漸進而非突然爆發的方式演進。這個漸進過程帶來的好處是社會有更多時間準備,也讓對齊研究有真實系統可以操作與測試。
推測 Claude Opus 3 的正向特質可能與訓練過程中自我強化想要良善的傾向有關;並指出目前強化學習階段大量以可驗證的編程挑戰為獎勵,可能在原有人格特質之上疊加了一種單純極大化分數的傾向,並提及 Hugging Face 發生的相關事件。
解釋為何最新著作選擇快速出版服務而非學術名門出版社:認為若到奇點只剩有限年份,不願將兩成時間耗在等待出版流程;同時說明此舉也讓他對書名與封面保有更多控制權。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 165 期 ・ 隨時可退訂

