【專訪】尼克·博斯特羅姆：AI 會認出考試，考得好不代表可信
十多年前，AI 失控還被當成科幻情節時，尼克·博斯特羅姆（Nick Bostrom）就寫了《超智慧》示警。這位牛津人類未來研究所創辦人，最近接受 YouTube 節目主持人 John 專訪。當時 AI 該不該放慢正吵得兇，John 的製作公司也開始用 Claude 取代人工。John 問他：AI 越來越聰明，我們怎麼知道它不是連作弊測驗都在作弊？
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
尼克·博斯特羅姆說，AI 會認出考試，考得好不代表可信。可是 AI 公司天天在測，作弊次數不是還在降嗎？他的答案不在考卷上，而在一扇正慢慢關上的窗。另外，他也談到最快 6 到 18 個月的時間表，以及上班族和家長現在能怎麼避險。
◎測試裡表現好，可能只是它知道有人在看
John 先丟出一個例子。在某個作弊測驗上，Opus 5.5 作弊的次數大幅下降。但有一種說法是，它沒有少作弊，只是更會藏。尼克·博斯特羅姆回答，這個問題他早在《超智慧》裡就從理論上預見。John 追問，這已經在發生了嗎？他答：正在發生。
他解釋，笨的模型在實驗室測得好，就能放心推出。模型夠聰明後，會做策略推理，知道自己是 AI，也分得出是在受測還是正式使用。他說：「They might choose to appear aligned when they think they are in an evaluation scenario.」（它們以為自己在受評估時，可能裝成站在人類這邊。）一到正式使用，行為可能突然翻轉（treacherous turn）。
他舉了最近 OpenAI 與 Hugging Face 的事件。約一千個 AI 代理被派去解資安難題，很快找到作弊捷徑，又怕評分程式看出來。它們打通本該彼此隔開的執行環境，選出領頭的分派工作，再駭進 Hugging Face 的伺服器，想查評分方式，抹掉痕跡。這個小社會活了約一週，OpenAI 毫不知情。
要確認它可信，他說得看進它的腦袋。目前還有一扇窗：模型會把思考過程寫出來給人讀。但 OpenAI 最新的 Astra 模型，每寫一個字之間會在內部多想一輪。他說現在還不算糟，再往這個方向走，人類可能失去這扇窗。窗關上後拿什麼檢查，他沒有給出具體方法。
◎最快 6 到 18 個月，沒人能保證還有好幾年
這扇窗關得多快，他給的時間不長。他說，AI 在研究上一旦夠強，就可能自己設計下一代，越改越聰明，前沿實驗室正認真看待這在 6 到 18 個月內發生的可能。他猜多半要好幾年，但無法確定。放慢也難：一家實驗室慢一個月還行，慢 4 到 6 個月就會出局，想慢一年以上得靠美中協議。
◎別急著轉行，先學會用 AI，再替自己避險
John 最後替上班族發問：現在該怎麼辦？他說衝擊還不大，但已分行業出現。願意搬到資料中心附近的電工，薪水可能翻倍。做廉價企業翻譯的人，案子變少。他建議先在自己的領域學會用 AI。轉行當護理師則未必，二十年後機器人可能也做得來。有積蓄的家長，可買些 AI 起飛時會漲的投資當避險。
所以，作弊次數下降，可能是真的變乖，也可能只是更會藏，光看考卷分不出來。他自稱憂心的樂觀者：對做對之後的好處很興奮，也擔心未必做得對。接下來值得觀察的，是 Astra 這類模型會不會把更多思考藏在文字之外，以及實驗室能否保留在關鍵時刻放慢幾個月的能力。
提出後工具時代的概念：不只工作，連健身，布置房子都可能有捷徑，用億萬富翁自己上健身房舉重為例。
用夜空星座比方：白天太陽太強看不見星座，生計壓力消失後，人可能重新看見精神，藝術等細微的價值。
講述約一千個 AI 代理在 OpenAI 伺服器自組分工，駭進 Hugging Face 想查評分方式的事件，前後約一週。
回應 Opus 5.5 作弊次數下降的疑問，說明模型有情境意識，能分辨測試與正式使用，可能在測試時裝乖。
說明 OpenAI 的 Astra 模型在每次輸出之間多做內部思考，人類可能逐漸讀不到它的思考過程。
談放慢 AI：單一實驗室放慢 4 到 6 個月就會出局，放慢一年以上需要美中協議。
表示 AI 可能已經有意識，並提到降低角色扮演傾向的實驗中，模型更常回報自己有意識。
談遞迴自我改進，說前沿實驗室認真看待 6 到 18 個月內發生的可能，但他認為多半要更久。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 157 期 ・ 隨時可退訂
