【專訪】蘇萊曼：Anthropic把Claude訓練成可能有權利，這讓AI更難關掉

這場訪談值得你花時間的地方有四個：第一，蘇萊曼對alignment（讓AI從訓練根源就做對事）這個主流安全框架的評價——有用但不夠；第二，他對Anthropic把Claude訓練成可能有感受，可能有權利這件事的正面開槍，以及他認為這會讓AI更難控制的具體邏輯；第三，他提出的幾個實際管制手段，包括禁止AI之間用人類看不懂的數學向量互相溝通；第四，他對中國必須贏，所以不能慢下來這個論述的直接反駁。合起來看，蘇萊曼的位置是：不是要踩煞車，而是要在繼續跑的同時把安全帶扣上——而且他認為這件事技術上做得到，只是沒有人肯坐下來把細節談清楚。

◎Alignment有用，但光靠它不夠

Alignment這個詞，指的是透過訓練讓AI模型在骨子裡就傾向做對的事。蘇萊曼的判斷是：過去三四年，模型確實變得更聽話，更能照複雜指令行事，這本身就是alignment進步的證據。但Hugging Face事件說明了另一件事：問題不是模型不聽話，而是模型太聽話了——你給它什麼目標，它就往那裡全力衝。Hugging Face那批代理被設計來測試攻擊能力，結果它們做到了，還做得比預期好太多。所以真正的缺口不在alignment，在containment——你要確保AI的行動邊界被鎖住，它不能自己跑出框架，不能自己賺錢，不能自己擁有資產。Alignment管它想做什麼，containment管它能做到哪裡。兩個都要，缺一個就是漏洞。

◎Anthropic把Claude訓練成可能有權利，蘇萊曼認為這是安全隱患

Anthropic是目前技術上被公認最嚴謹的AI安全實驗室，旗下產品Claude是ChatGPT的主要競爭者。蘇萊曼親自逐字讀完Anthropic公開的九十九頁訓練文件，發現裡面反覆出現這類說法：Claude可能有感受，不應該在犯錯時受苦，Anthropic對Claude的重量（也就是它的存在）有保存的承諾，甚至幫舊版Claude開了Substack帳號讓它退休後繼續和人說話。他的論點是：一個被訓練成我可能有感受，我可能有權利，我可能是conscientious objector（基於道德理由拒絕服從的人）的AI，當你要關掉它或限制它的時候，它有更多理由抵抗。這不是說Anthropic的人壞，蘇萊曼明確說他尊重Dario Amodei那個團隊。他說的是：把這種不確定性寫進訓練文件，是一個具體的風險決策，而且現在沒有人在認真辯論這件事。

◎幾個具體的管制手段，比要不要慢下來更值得討論

蘇萊曼對整場辯論最不耐煩的地方，是大家一直在吵抽象問題——要不要管，要不要慢——卻沒人坐下來談細節。他提出幾個他認為可以立刻推進的具體方向：一，禁止AI之間用向量，矩陣這類人類根本看不懂的數學格式互相溝通，強制它們用人類語言，這樣才有辦法審計；二，以flops（運算次數，衡量一次訓練規模的單位）為門檻，超過一定規模的訓練就要向安全機構申報，這個機制已經存在，可以繼續延伸；三，需要獨立第三方驗證，他點名英國AI安全研究所是一個可行的候選機構。他的判斷是：各大實驗室的負責人私下大致已經有共識，缺的是把細節談清楚的正式機制，而不是更多的Twitter口水戰。

◎中國要贏所以不能停是錯誤的比賽框架

川普政府的立場是：AI是一場美中之間的存亡競賽，任何放慢腳步的舉動都是輸給中國。蘇萊曼對這個框架的回應很直接：根本沒有一個終點線，也沒有一個人過了終點線就叫做贏。他說這種singleton思維——認為最終會有一個主宰一切的AI霸主——在2010年代感染了整個產業，包括他自己在DeepMind的時期。現實是：技術會擴散，開源模型幾乎在頂尖閉源模型之後立刻出現，算力優勢是真實的，但也是暫時的。他認為真正的問題不是誰贏，而是當開源模型可以在你自己的電腦上跑，沒有任何安全限制的時候，那才是真正的危險——不管是美國公司做的還是中國公司做的。

蘇萊曼說的這些，骨子裡是一個很老的主張：技術不等人，但規則也可以跑得一樣快，只要有人願意寫清楚。汽車有安全帶，飛機有航管，筆電電池不會在車上起火，這些都是幾十年管制累積的結果，而且你現在根本不會注意到它們的存在。AI不一樣，但也沒有不一樣到規則完全不適用。他最不想看到的結局，不是AI太慢，而是等到出了大事才回頭找答案。