【專訪】薩頓：叫機器學習的 AI，其實造好就不再學
理查·薩頓（Rich Sutton）是強化學習的開山者。強化學習是讓機器靠嘗試和回饋學會做事的方法。他和 Andrew Barto 拿下 2024 年度圖靈獎。今年 7 月，他開了人生第一家公司 Oak Lab。創投 Radical 的合夥人 Daniel 請他來給創業者上課，問他：第一次開公司，要做什麼別處做不到的事？
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
薩頓說，叫機器學習的 AI，其實造好就不再學。可是 ChatGPT 一版比一版強，這不就是在學嗎？他的答案，落在一百年前大家怎麼定義學習。他也勸創業者多公開構想，並對執行長說，量不出來的目標，就別說你想要。
◎AI 被造出來之後，就不再學了
Daniel 問他，當年強化學習還不成一個領域，他怎麼知道值得做四十年。薩頓說，訣竅是看見明顯，卻沒人看見的事。他舉達爾文為例：人是動物，攤開來看再明顯不過，只是傷了人的自尊。說完他自己追問：現在有什麼明顯的事，大家沒看見？他的答案是，學習對智慧很重要，而現在的 AI 不會學。
他的理由從定義說起。一百年前，學習指的是出生以後，過日子時發生的事，不是你怎麼被造出來。今天的 AI 用叫機器學習的方法打造，造好就把參數凍結，好讓它穩定可靠。他說，在 AI 幾乎等於機器學習的今天，"our machines don't learn"（我們的機器不會學習）。
Oak Lab 為此公開一份 12 步的研究計畫，目前做到第 2 步，讓學習持續進行。他說，現在只在權重這一層學，還得讓網路結構和學習速度也能調整。外界以為 1986 年的反向傳播，也就是訓練神經網路的標準方法，早已解決一切，只差電腦。他說，演算法本身就不夠。
Daniel 追問，沒有評測基準，怎麼知道有沒有進展？薩頓說他從不覺得基準有用，答案就是去想，引來一陣笑聲。他承認這比一次訓練完再凍結難得多，系統得自己避免卡住，避免失控。他說會有一次頓悟，把 AI 分成之前和之後兩代，但沒說要多久。
◎好點子別人搶不走，不如公開
Oak Lab 敢把計畫攤開，是薩頓刻意的選擇。科學家常怕講出去會被搶先。他說，點子真的夠好，別人根本認不出來，你得硬塞給他們。公開還有一個好處：懂得欣賞的人全世界只有少數，公開才找得到他們，拉進團隊。他也承認，實作細節得保密。公司目前四個人，另外三位都是他以前的博士生。
◎量不出來的目標，就別說你想要
持續學習靠的是從經驗裡拿回饋，Daniel 順勢問：執行長該看哪些獎勵訊號？薩頓說，獎勵就是最終目標，而且得量得出來。他說，連量都量不了，就別跟他說你想達成。執行長管全局，握著槓桿，最該有明確目標，下面各層的目標由上層來訂。他舉的例子是長期獲利，不能今年賺錢，往後吃官司。
回到那個反駁：ChatGPT 一版比一版強，在薩頓的說法裡，是一次次重新造出來的機器，不是同一個系統邊用邊學。接下來值得注意的，是 Oak Lab 能不能完成 12 步計畫的第 2 步，讓學習不停下來。他也提到，機器人可能是走向新演算法最直覺的路，但那不在 Oak Lab 做。
談創業三個月最難的事：和創投往來會聽到很多拒絕，只需要一個同意，要記得重視自己和自己想做的事。
提出現在最明顯卻沒人看見的事：學習對智慧很重要，而現在的 AI 不會在使用期間持續學習。
用 26 個字重述《苦澀的教訓》，並延伸到創業：要處理通則而非個案，舉 Google 不會為單一個人修正學術頁面為例。
回答執行長該看什麼獎勵訊號：目標必須可衡量，例如長期獲利，不要只顧今年。
談團隊大小：小團隊讓他更有活力，大團隊反而消耗，Oak Lab 目前四個人。
說明 Oak Lab 公開的 12 步研究計畫，目前在第 2 步，也就是持續學習；並表示不認同需要評測基準才能進步。
回答研究人員為何離開大型實驗室創業：最簡單的答案是錢，也有對研究題目愈來愈窄的不滿。
認為遞迴式自我改進只是最新的行銷流行語，並說人類一直都在用舊電腦打造新技術。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 157 期 ・ 隨時可退訂
