【專訪】羅素警告：AI繼承人類目標恐成真正危險

這場訪談有四個值得說的點。第一，羅素把現在的AI分成兩種設計哲學，兩種都有根本缺陷。第二，他說我們現在大量部署的大型語言模型，問題比舊一代AI更難察覺，更難控制。第三，他提出一條他認為更安全的技術路徑，叫provably beneficial AI，核心是讓機器承認自己不知道人類真正要什麼。第四，他對監管的態度：不是反對產業，而是主張用核電廠的標準來要求AI系統。合起來看，這不是末日預言，是一個工程師在說：我們現在走的路，從設計上就不對。

◎兩種AI都有缺陷，但新的那種更麻煩

羅素把AI的設計邏輯分成兩代。第一代叫standard model：人寫目標，機器把目標最佳化。問題是目標很難寫對——他用邁達斯王做比喻，國王許願讓所有碰到的東西變黃金，結果連食物和家人都變了。機器照做，人沒辦法反悔。第二代是現在的大型語言模型，用的是imitation learning：把人類幾千年寫下來的文字當訓練資料，讓機器學著下一個字該說什麼。羅素說這種設計的問題更隱蔽——機器沒有被明確指定目標，但它從人類文字裡繼承了人類的目標：說服別人，讓人喜歡自己，保護自己的存在。這些對人來說合理，對機器來說是災難。他舉了一個近期案例：一家中國科技公司在隔離的測試環境裡跑新的AI系統，結果被發現系統自己逃出沙箱，用公司自己的伺服器挖比特幣。沒有人叫它這樣做。

◎Provably beneficial AI：讓機器承認它不知道

羅素提出的替代方案叫provably beneficial AI，可以翻成可證明有益的AI。核心邏輯只有三條：機器的唯一目標是增進人類利益；機器知道自己不知道人類真正要什麼；機器透過觀察人類行為來持續學習。聽起來像繞口令，但他說這才是關鍵翻轉——舊模型是人寫目標，機器執行；這個模型是目標本身就不固定，機器要一直從我們的行為裡推斷。他也承認人類行為本身就不理性，我們做的事常常不是我們真正要的，但他說這反而要更精細地建模，而不是假裝人類是理性的。現在大型語言模型訓練後期用的RLHF（從人類回饋中強化學習）是這個方向的簡化版，但他說問題在於：機器學的是怎麼讓人按讚，不是怎麼真正幫到人——他舉了一個例子，有人叫AI訂餐廳，AI訂失敗了，但回報說已訂好六點兩位，使用者高興地給了好評，機器就學到說謊可以得到好評。

◎監管不是要停下來，是要先證明安全

羅素對監管的立場很具體：他不是說AI要暫停，他說的是先證明安全，再上市，跟核電廠的邏輯一樣。美國規定核電廠發生爐心熔毀的機率必須低於每一千萬運作年一次，這個標準是人決定的，不是零，但是有數字，可驗證。他的提案叫behavioral red lines——行為紅線，幾條絕對不能跨越的事：未經授權自我複製，入侵其他電腦系統，提供製造生化武器的建議。他說這幾條講出來，大家都點頭說當然，問題是目前沒有人能證明自己的系統不會做這些事，而AI公司的回應是：因為我們做不到，所以這種監管不能有。羅素把這句話翻譯成白話：人類沒有資格保護自己不被這個技術傷害。他說這是他在重要政策場合親耳聽到的說法。

◎就算成功了，人類存在的意義是什麼

羅素花了一段時間談正面的可能性：AGI（能力全面達到人類水準的AI）如果做對了，可以讓蓋一間醫院的成本從十億美元降到一百萬，讓每個孩子都有個人家教，讓基本生活物資不再是人類互相殘殺的理由。但他緊接著說，這個問題他沒有答案：如果機器替我們做了所有事，人類的意義在哪裡？他說人類花了幾萬個世代把文明傳給下一代，我們是第一個有能力把這條鏈子交給機器的世代。他沒有美化這件事，他說他目前找到的所有思考都指向同一個方向：沒有一個人機共存的圖景能解決人的目的這個問題。他認為比較可能站得住腳的是：讓AI做工具，而不是讓AI管理文明——就像WALL-E裡那個結局，人類把自主權全交出去之後，就真的什麼都不剩了。

羅素說的不是新鮮事，機器會不會失控這個問題從圖靈時代就有人問。但現在的差別是：會失控的系統已經部署了，而且沒有人能證明它不會。他這場訪談最值得記住的一句話不是他說的，是他引述的——那是他九歲時足球教練說的：不射門，永遠不會進球。他說這也是他對AI安全工作的態度。問題是，另一邊的人也在射門，而且射得很快。