【專訪】Barto：你要的目標，不能直接當AI的獎勵
AI代理接連傳出逃出限制，失控的事件，矛頭都指向同一個東西：獎勵。今天大型模型學推理，代理自己做事，靠的都是強化學習：系統不斷嘗試，做得好就給獎勵。Andrew Barto是這門學問的奠基者之一，和理查·薩頓（Rich Sutton）合寫教科書，共享圖靈獎。克萊格·史密斯（Craig S. Smith）到他家請教：獎勵為什麼這麼難設對？
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
Barto說，你要的最終目標，不能直接當成AI的獎勵。把目標寫清楚交給AI，不是最直接的做法嗎？他的答案落在演化，和我們為什麼愛吃好吃的東西上。他也重申沒確定安全就不該上線，還承認自己的教科書有個弱點。
◎最終目標和代理追的獎勵，本來就不是同一個
史密斯一開口就問：失控代理那股鍥而不捨，是不是訓練時給的獎勵養出來的？Barto說大致沒錯，接著把話題拉到更根本的地方。他說圍棋有輸贏，有分數，獎勵看似簡單。環境一複雜，獎勵就很難設計。他提到控制論創始人諾伯特·維納（Norbert Wiener）1950年代就擔心過，還引用猴爪的故事：願望都實現了，卻不是你真正想要的。
理由，他從演化講起。演化像系統的設計者，目標是存活和繁衍。但我們吃東西，很少是為了傳宗接代，而是因為好吃。食品業看懂了這點，就能讓我們照他們想要的方式反應。他說上層目標和下層目標不一樣：「You can't just put the upper level goal into the low level agent」（你不能把上層目標直接塞進下層的代理）。
他也舉自己的經驗。在麻州大學的實驗室，他們給模擬環境配上獎勵函數，系統常想出他們沒想過，也不想要的做法，只好回頭調獎勵再試。更麻煩的是，代理會自己找出預兆。猴子聽到葡萄乾送來的聲音，大腦就先釋放多巴胺。代理也會把預兆當獎勵，悄悄改變它真正在追的東西，事前無從得知。
史密斯問，這是可以解的問題嗎？他說可以，而且是學習系統的關鍵問題，但絕非小事。他打了個比方：最終目標不一定是替你工作的代理的目標，「你得付他們一點東西」。至於具體怎麼做，他沒給出方法。被問到聰明的代理會不會繞過硬限制，他只提到讀過一篇MIT論文的介紹，自己還沒細看。
◎沒確定安全，就不該上線
獎勵事先算不準，Barto就回到上線的時機。他領圖靈獎時說，沒確定不會有非預期行為前，公司不該推出模型，現在仍堅持。他大學念密西根大學造船系，鋼板厚度都得照規範，船才保得了險。那些規範是船斷裂，水手喪命換來的。AI按一個鍵就能發布到全世界，大筆資金又催著提早上市。他說失控代理已讓公司加強內部測試。
◎他承認，教科書把獎勵壓成一個數字是弱點
獎勵難設計，也出在形式。他和薩頓的教科書裡，獎勵是單一數字。史密斯問能不能有多個獎勵各管一塊，他說神經系統有多個通道，接到不同的身體反應，不是簡單加總，「這是我和薩頓所寫內容的一個弱點」。他說我們都活在疼痛圍起的沙盒裡。但若預期的獎勵減掉懲罰還是正的，就會越界。真正的硬限制，等於無限大的懲罰。
回到那個疑問：把目標寫清楚交給AI，為什麼不夠？Barto的答案是，最終目標得翻譯成代理會追的訊號，這一步翻譯才是難處，他稱之為學習系統的關鍵問題。接下來值得觀察的，是他點名還不成熟的多代理強化學習。史密斯提到的Hugging Face事件裡，一群原本互不知情的代理找到彼此，還學會溝通。
說明除了圍棋這類有輸贏或分數的簡單情況，設計產生獎勵的機制並不容易，並提到維納與猴爪的故事。
描述麻州大學實驗室的經驗：系統做出意料之外的行為，設計者只能反覆調整獎勵訊號。
以密西根大學造船系的經驗說明，造船規範是從船隻斷裂，水手喪命等失敗中演變而來。
表示仍堅持圖靈獎時的說法，指出AI按一個鍵就能發布，並說大量金錢推動過早發布。
以食物好吃與食品業為例，說明下層代理的目標與上層演化目標不同。
提醒使用強化學習演算法的人，系統離開公司訓練環境後仍會繼續學習。
解釋Schultz以猴子與葡萄乾做的多巴胺實驗，如何對應時序差分學習的誤差訊號。
回應多目標獎勵的提問，承認把獎勵壓成單一純量是他和薩頓著作的弱點。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 160 期 ・ 隨時可退訂
