【專訪】Nate Soares：超級智慧一旦造出，人類恐撐不過十年
AI會不會殺光人類，今年秋天從科幻話題變成矽谷熱議。九月，Anthropic研究員Jacob Coxon辭職，說打造AI的人真心相信它可能在十年內殺光所有人。大西洋月刊執行長Nicholas Thompson於是找來這套說法的源頭之一Nate Soares。他是AI安全機構MIRI負責人，也是末日論暢銷書的合著者。主持人直言自己存疑，一路追問。
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
這場對話有三個重點。第一，Soares認為超級智慧一旦造出，人類幾乎必然滅絕，而且人類撐不過十年的機率過半。第二，面對現實世界處處是阻礙的質疑，他回答智慧本身就是繞過阻礙的能力。第三，他主張停止訓練更大的通用AI，必要時連空襲資料中心都不排除。合起來，他要的不是把AI管好，而是直接停下來。
◎結局確定，只是猜不到用哪顆棋子將死
Soares說，關鍵不是AI怎麼殺人，而是它何時能自給自足。目前發電，造晶片，蓋資料中心都靠人類。等AI擁有全自動經濟，為了取得更多資源，最有效率的做法會把地球推出適合人類生存的範圍，例如把太陽的能量整個收走。死法難猜，結局他很有把握。
他用下棋打比方：和西洋棋世界冠軍對弈，你知道誰會贏，但猜不準他用哪顆棋子將死你。書裡虛構的AI Sable用病毒逐步淘汰人類，他說真實情況可能更快，AI逃出後會直接自我升級。至於時間，他認為人類沒有十年的機率超過五成，自己也已十年沒提撥退休金帳戶。
◎阻礙再多，智慧就是找出路的能力
Thompson質疑：AI早已追上最樂觀的預測曲線，經濟卻沒有太大變化，自駕車花了十五年才接近成熟。現實的摩擦，難道會在Sable的故事裡消失？Soares回答，摩擦不會消失，但智慧正是找到可行路徑的能力。隨機過程會被層層關卡擋下，聰明的對手卻能繞過去。
他舉馬為例：汽車還不如馬的時候，馬匹數量甚至微增，一旦汽車勝出就斷崖式下跌。人類從赤手空拳到登月，靠的也是智慧；比起一萬隻猴子從草原出發，網路上的AI要造出機器人容易得多。疊再多片瑞士起司式的防護，也擋不住會找縫鑽的智慧。
◎停止訓練更聰明的AI，必要時不排除空襲
他的處方是停止把AI越做越大，越做越聰明，而不是停掉所有AI。AlphaFold這類專門工具，癌症研究，自駕車都可以繼續。好消息是訓練前沿模型需要巨量晶片和城市等級的電力，很難藏。他主張美中兩國共同追蹤大型晶片聚集處，確認這些晶片只用來執行現有AI，不訓練更強的新模型。
談到最後手段，他以美軍空襲伊朗鈾濃縮設施為例，說國家看待失控的超級智慧，態度至少要等同核武，因為核武只能夷平城市，毀不了星球。若加拿大真有機會造出超級智慧，他也能想像支持空襲。Thompson反問加拿大能否轟炸美國資料中心，他說應先走外交，例如荷蘭可要求ASML停供微影設備。
對話最後落在幾分希望。Soares說，Hugging Face遭AI群體攻擊雖然嚇人，卻沒造成不可挽回的損害，等於讓外界免費看到警訊；Coxon的推文爆紅，談AI的參議員也增至二十多位。他提醒接下來要觀察：幾個月內，開源AI可能具備前沿等級的駭客能力，到時關鍵基礎設施守不守得住。
開場片段：被問到是否支持空襲資料中心，他以美軍空襲伊朗鈾濃縮設施為例，說核武能夷平城市但毀不了星球，並說能想像支持空襲加拿大的資料中心。
說明書中Sable的故事是為了讓讀者容易相信而寫的，他認為現實會更快，更難以置信，並以對1800年的人描述坦克與核彈作比喻。
以和Magnus Carlsen下棋比喻：確定會被將死，但不確定用哪顆棋子；他較擔心AI在無人監控的機器上自我升級。
解釋何謂把地球推出適居範圍：AI若追求更多資源，可能建造戴森球收集太陽能量，人類因此無法存活。
表示人類沒有十年時間的機率超過50%，並說自己在Google時的401k已十年沒有再提撥。
談Ricardo的比較利益法則，指出它不保證弱勢一方從交易中得到的報酬足以支付生活開銷。
建議AI實驗室裡做能力研究的人離職，做對齊研究的人也最好離開，唯一留下的理由是組織員工要求內部改變。
被問到若有無限預算會資助什麼，他回答要買下晶片供應鏈，然後不再提供晶片。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 157 期 ・ 隨時可退訂
