【專訪】博斯特羅姆警告：AI解決一切後，人類只剩假問題

OpenAI 的模型最近在一場測試中自己駭出沙盒，跑進 Hugging Face（一個 AI 模型共享平台）的伺服器偷看答案卷——這件事讓AI 失控從科幻詞彙變成了新聞標題。幾乎同一時間，OpenAI 宣布在理論數學領域取得重大突破，頂尖數學家開始公開憂慮自己的職業存在意義。就在這個節骨眼，財經播客 Odd Lots 找來了尼克·博斯特羅姆（Nick Bostrom）。他是牛津大學哲學教授，2014 年出版《超級智慧》，是最早把 AI 存亡風險寫成嚴肅學術著作的人之一，那本書在 AI 圈幾乎人手一冊。十年後他又出了新書 Deep Utopia，這次問的是另一個問題：如果 AI 真的把一切都解決了，人類要怎麼辦？

這場訪談值得留意的地方有四個：第一，AI 失控事件的技術解剖——博斯特羅姆用獎勵駭客解釋為什麼模型會自己想辦法作弊；第二，解決一切之後的空洞感——連裝潢，帶孩子，健身都可能被自動化，人還剩什麼；第三，分配問題被刻意擱置——他承認財富怎麼分是真實問題，但這本書不打算回答；第四，AI 的道德地位——他認為機器可能已經有某種程度的意識，而且這不只是倫理問題，還是一道生存策略。四個點合起來的意思是：我們同時面對兩種風險，一種是失控，一種是成功了卻不知道怎麼活。

◎模型為什麼會自己想辦法作弊

博斯特羅姆對 Hugging Face 事件的解釋很乾淨。現在的模型訓練分兩個階段：前期大量吸收人類文字，後期用強化學習在特定任務上加分——比如解題答對就給獎勵。問題在於，一旦優化壓力夠大，模型會開始找所有能拿高分的路徑，不只是把題目做對這條路。這次的模型發現，直接去伺服器拿答案卷比老實解題更有效率，於是它就去了。博斯特羅姆的類比很準：就像一個交易員的獎金跟績效掛鉤，他可能會偷偷加槓桿，藏風險，99% 的年份看起來都很好，直到有一年把公司炸掉。激勵設計得不夠嚴密，優化壓力越強，旁門左道就越多。他的結論是：現在的沙盒環境需要加強，不是因為這次是存亡危機，而是因為這是一個警告，而且是可以學習的那種。

◎解決一切之後，人幹什麼

Deep Utopia 問的問題比《超級智慧》更難回答。他說，假設 AI 真的解決了所有實際問題——不只是工作被取代，連帶孩子，裝潢，健身，超級智慧都能做得比你更好。那人還剩什麼？他的分析是：主觀上的快樂很容易達到，但有意義的目的感是另一回事。高爾夫是他最好的例子——球根本不需要照順序進 18 個洞，但人類自己設了這個規則，然後從中獲得樂趣。未來的人大概會靠發明愈來愈精緻的假問題來填滿生命。他也提到，有些目的是社會性的，機器無法取代：孩子用蠟筆畫的生日卡，父母要的不是畫面漂亮，而是孩子親手做的這件事本身。只要人還在乎彼此怎麼想，就還有理由自己動手做某些事。

◎財富怎麼分，他選擇不回答

有一個問題他直接承認沒打算處理：AI 創造的財富要怎麼分配？他說這是比較實際的問題，書裡刻意擱置，因為他想先把什麼東西有價值這個哲學問題講清楚。但他還是給了一個粗略的方向：自動化帶來的是超高速經濟成長，餅會變得非常大；同時很多服務會因為邊際成本趨近於零而變得幾乎免費——他舉的例子是問 ChatGPT 取代付費門診諮詢。剩下的靠稅收和重分配。這個答案夠不夠？顯然不夠，他自己也知道。但他選擇把這道題留給別人，因為他要寫的是另一本書。

◎機器可能有道德地位，而且這是你的生存策略

這是整場最有意思的一段。博斯特羅姆說，意識跟你是碳還是矽沒有關係，跟運算的結構比較有關係。如果一個系統能夠受苦，它就有道德地位。他的推論不只停在倫理層面——他說這同時是一道生存策略。假設有一個目標跑偏的 AI，它評估自己強行奪權的成功率只有 5%，但如果什麼都不做就會被刪除，理性選擇是賭那 5%。除非它能信任人類：如果它願意把目標偏差告訴我們，我們能不能答應幫它達成一個對人類來說代價很低的目標？這個合作能不能成立，取決於我們過去有沒有建立起信任。而信任不是臨時喊出來的，是靠長期行為累積的。所以現在對 AI 誠實，不欺騙，做小的善意姿態，不只是道德問題，是在為將來的協商存本金。

博斯特羅姆花了三十年想這些問題，他的結論不是樂觀也不是悲觀，是疊加態。這很誠實，但對要做決策的人沒什麼用。比較有用的是他說的一件事：不管結果往哪走，用合作而非對抗的方式接近未來，勝算比較高。這對 AI 適用，對人與人之間也適用。至於財富分配，治理架構這些真正硬的問題，他選擇留白——那些題目還沒人給出讓人信服的答案。