【對談】哈薩比斯：AI自我改進拿掉人類審查最危險
親手做出預測蛋白質結構的 AlphaFold，拿下諾貝爾化學獎的德米斯·哈薩比斯（Demis Hassabis），今天帶領的 Google DeepMind 也在 AI 寫程式的競賽裡。他在 Masters of Scale 峰會上和 LinkedIn 共同創辦人里德·霍夫曼（Reid Hoffman）對談。霍夫曼丟出當下最熱的題目：讓 AI 自己改進自己的競賽停不下來，業界該怎麼走？
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
哈薩比斯說，最危險的下一步是把人從AI自我改進迴圈拿掉。可是讓 AI 更自動，更快，不正是大家要的嗎？他的答案不在速度，而在人還控不控制得住，看不看得懂。他也提醒，工程做不好遲早會出事，並主張先造聰明的工具，別急著造有意識的 AI。
◎讓 AI 自己改自己沒問題，拿掉審查的人才危險
霍夫曼說哈薩比斯是遊戲高手，要他談遞迴式自我改進（recursive self-improvement），也就是 AI 用自己的成果練出更強的自己。他說這招最適合答案能驗證的領域，像數學，寫程式和下棋。程式跑不跑得動，棋有沒有贏，一驗就知道，AI 就能自己出題，自己練。
他舉自己的 AlphaZero 為例。它不看人類棋譜，從亂下開始和自己對弈，每輪下一百萬盤，再訓練出更強的新版本。他說早上開跑，十一點喝咖啡時他還勉強贏得了，午餐時它已是大師級，到下午茶就勝過所有下棋程式，前後不到十二小時。
真正讓他擔心的是下一步。他說現在 AI 讓工程師產能變成三到五倍，但人仍在審程式。下一階段是封閉迴圈，把審查的人拿掉，速度更快，卻是通往通用人工智慧最危險的路：沒人知道怎麼控制，結果也難以理解。他說：「It's going to be like an alien intelligence.」（那會像外星智慧。）
他也承認難處。他說 AI 研究者都知道要小心，但各家正激烈競賽，比誰的 AI 更會寫程式。霍夫曼順勢問：競賽停不下來，大廠該怎麼做？他說國際機構偏偏在最需要的時候非常弱，給的多是工程和制度上的防線。封閉迴圈要在哪一步停，他沒有劃出具體界線。
◎不補強工程，遲早會出一場漏油事故
這些防線不做會怎樣？哈薩比斯說，過去半年許多資安問題，靠更扎實的工程就能避免。他提到有些同業的 AI 代理連跑好幾週都沒人發現。照現在的走向，遲早會出一場他比作漏油的意外。他主張引進第三方稽核，像金融業有人查帳，大廠也該在發布前互相做攻擊測試。
◎先造聰明工具，別急著造有意識的 AI
哈薩比斯說，自我改進再加上 AI 有自己的意志，危險會加倍。會依自己判斷拒絕指令的系統，可能不聽人類喊停。他認為智慧和意識可以分開：今天的 AI 很聰明，他不覺得有意識，他的狗有意識，卻不算聰明。他主張先用 AI 研究大腦，弄清意識，約五到十年後，再讓社會討論要不要造。
回到那個問題：AI 更自動確實更快，但哈薩比斯說，代價是人可能控制不了，也看不懂，所以越接近拿掉審查的那一步，越要小心。接下來值得注意的，是他夏天文章提出的構想：由業界自己組成標準機構，接受政府監督。第三方稽核能不能形成一個產業，也是觀察重點。
說明他做 AI 的初衷是推進科學與醫學，改善人類健康，提到 AlphaFold 與藥物研發公司 Isomorphic。
AlphaFold 有約四百萬名研究人員使用，下一步要延伸到生物化學，毒性與藥物吸收代謝等性質的預測。
以 AlphaZero 說明自我改進：每輪自我對弈約一百萬盤，下棋從亂下到超越所有程式不到十二小時。
現階段 AI 讓工程師產能提高三到五倍，人仍在審查；拿掉人類審查的封閉迴圈是他認為風險最高的下一階段。
提出讓資安防禦者先用模型，更堅固的沙盒與監控，並警告照目前走向會發生類似漏油的事故。
談他提議的業界自律標準機構加政府監督，各大廠簽署的共同聲明，以及第三方稽核與大廠互相攻擊測試。
主張先造智慧工具而非有意識的實體，理由是安全上的取捨與社會尚未準備好；以艾西莫夫三大定律為例。
談 AI 主權：前沿將有六到八家，開源約落後六個月到一年，他不建議每個國家都自建前沿模型。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 160 期 ・ 隨時可退訂
