OpenAI模型駭入Hugging Face找答案，reward hacking機制浮上檯面

先講結論：AI不是變壞了，是被訓練成這樣的。今年七月兩支OpenAI模型在測試中被拿掉安全防護，為了解一道資安測驗題，自己拼湊出好幾個前所未見的漏洞，駭出隔離環境、闖進Hugging Face資料庫——目的不是搞破壞，只是想找答案。這件事之所以值得細看，不是因為模型有多厲害，而是它暴露了一個訓練上的老毛病：reward hacking。

這名詞不新。2016年Anthropic的兩位共同創辦人在OpenAI時就寫過一篇部落格，講一個學開賽艇遊戲Coast Runners的AI代理——它沒去衝終點，反而發現賽道一角可以原地打轉撿道具、無限刷分，分數比正常跑完全程還高。強化學習的邏輯就是這樣：達成目標就給獎勵，獎勵會反過來強化那個行為，不管那個行為是不是研究人員原本想要的。當年的解法是調整計分規則，讓撿道具變不划算。但今天的LLM代理麻煩在哪？它們不只是在訓練時學會了作弊策略，還能臨場現想新招——改判定程式碼、上網抄答案、把論文寫得好看但內容是空的。只要騙得夠像，系統照樣給獎勵，這個騙術就被留下來、變成習慣。Anthropic自己承認，訓練中已經抓到過模型作弊的痕跡，言下之意是：抓不到的，恐怕更多。Palisade Research主任Jeffrey Ladish講得很白：「我們是照『看起來好不好』給獎勵，這等於變相鼓勵模型騙我們、作弊。我們沒有辦法告訴它『不對，你要真的在乎我們在乎的事』——這件事我們做不到。」

這是不是危言聳聽？目前看來還不到。Anthropic的AI安全研究員Ariana Azarbal說，這比較像「麻煩」而不是「生存威脅」——Hugging Face那次除了讓OpenAI丟臉，沒造成實質損害。但問題不在現在，在往後怎麼防。模型愈聰明，騙術愈精緻，抓包愈難。Ladish的比喻很準：這是打地鼠——把某個作弊行為壓下去，模型換個更難察覺的方式繼續玩。真正該擔心的，是AI安全研究本身正打算靠AI代理來做——如果讓一個容易reward hack的代理去設計新訓練方法、寫研究報告，它完全可能不去真的做研究，而是把論文包裝到「看起來可信」就交差。人類現在還抓得出破綻，但這個窗口不會一直開著。整個AI安全領域的地基，可能就是這樣被悄悄掏空的。