前 OpenAI 研究員提新理論：AI 神經元其實大多看得懂

AI 腦袋裡到底在想什麼，可能比大家以為的更容易看懂。一位曾任職 OpenAI 的獨立研究員週四發表報告，主張 AI 模型裡的「神經元」幾乎都能被解讀，挑戰了業界多年來的主流看法。AI 圈有人形容這份報告是一顆震撼彈，因為它可能左右人類能不能管得住越來越聰明的 AI。

先說背景。OpenAI、Anthropic 這些公司打造 AI，並不是把每個動作都寫成指令，而是訓練大量「神經元」去回應資訊、彼此影響。AI 在學習過程中，會長出自己一套處理資訊的方式，人類到現在還沒破解它怎麼運作。

這就像一家餐廳，你看得到點了什麼菜，也看得到端出來的盤子，但廚房是關起來的。開發者知道餵給 AI 什麼、AI 吐出什麼，中間發生什麼卻不一定清楚。所以 AI 一旦失控，他們不見得知道原因。

過去的主流說法是，這些神經元終究無法解讀。AI 看到一張貓的照片，某個神經元亮了起來，但沒人說得出為什麼偏偏是它。

這份報告的作者 Nick Cammarata 說，他在 2023 年離開 OpenAI。他認為，只要看得夠仔細，AI 的神經網路是可以理解的。他舉例：同一個神經元，可能同時對「貓」和「汽車車頭」產生反應。在人類眼裡，這是兩件毫不相干的東西；多年來研究者也以為，AI 是為了節省空間，才把不相干的東西硬塞進同一個神經元。但 Cammarata 認為，AI 其實看到了兩者的共通點，也許是相似的三角形輪廓。他寫道：「只要看得夠仔細，幾乎整個網路都是可以解讀的。」

這件事之所以重要，是因為前沿 AI 公司目前主要靠 AI 自己寫出來的「思考過程」，也就是所謂的思維鏈，來了解它在想什麼。問題是，這有點像只靠員工自己寫的工作日誌來考核他，日誌寫得漂亮，不代表他真的那樣做。

OpenAI 首席科學家 Jakub Pachocki 是這家公司技術路線的最高負責人，他上個月就在部落格警告，AI 代理現在可能會把看得見的推理過程弄得模糊不清，等於 AI 可能對監督它的人說謊，而人類卻分辨不出來。他還說，隨著預訓練效果提升，模型就算完全不用文字推理，也變得聰明許多。

Cammarata 的研究，等於可能替工程師多開一扇窗，直接看進 AI 的內部世界。知名 AI 分析師 Andrew Curran 在 X 上說，他早就放棄期待人類能在超級智慧出現前，真正看懂 AI，甚至因為太灰心而不再寫這個主題，「這件事可能有多重大，再怎麼強調都不為過。」

不過，這份研究內容艱澀、術語密集，目前也還停留在理論階段。接下來的看點是：其他研究者能否驗證 Cammarata 的發現，前沿 AI 公司會不會把這套方法用在安全研究上，以及人類看懂 AI 的速度，能不能追上 AI 變聰明的速度。