【座談】Chris Olah警告：AI公司誘因結構扭曲判斷

這場發布會有幾個值得說的點：第一，Olah 當場承認 AI 公司本身的誘因結構會扭曲判斷，需要外部聲音；第二，他坦白 AI 模型內部出現了連研究者自己都看不懂的現象；第三，通諭直接點名 AI 的利益集中問題，把少數科技富豪的權力比作新帝國主義；第四，教宗 Leo 十四世用解除武裝來描述 AI 治理的目標，語氣比任何政府文件都強；第五，多位神學者從全球南方視角提出 AI 的殖民性問題，這個角度在主流 AI 討論裡幾乎不存在。合起來看，這不是一場宗教儀式，而是一次罕見的外部壓力測試——對象是整個 AI 產業。

◎Olah 說了一句沒有人敢公開說的話

Olah 在致辭開頭說，每一家前沿 AI 實驗室，包括 Anthropic，都活在一套誘因與限制裡，而這套誘因有時會與做正確的事相衝突。他點名了商業壓力，維持研究前沿的壓力，地緣政治壓力，以及更古老的驕傲與野心。這段話說得很直，但也很聰明——他同時說我相信我們很多人是真心想做對的事，所以這不是認罪，而是一種結構性的自我揭露。他的結論是：正因為如此，AI 產業需要那些不在這套誘因裡的人，來扮演認真的批評者。這個邏輯沒有問題，但也請注意：一個公司的共同創辦人，在教宗面前說我們需要你們來監督我們，這個姿態對他的公司形象有多大好處，你自己算。

◎AI 模型內部有東西，研究者自己也不知道那是什麼

Olah 的第三個呼籲最值得停下來看。他說他領導一個研究 AI 模型內部結構的團隊，而他們不斷發現神秘甚至令人不安的東西：模型內部出現了與人類神經科學研究結果相似的結構，出現了內省的跡象，出現了功能上類似喜悅，滿足，恐懼，悲傷與不安的內部狀態。他說他不知道這意味著什麼，但他認為這值得持續的辨別與省思。這不是科幻小說，這是一個 AI 公司的研究主管在教宗面前說的話。他用的比喻是：這有點像把一個虛構角色帶到現實世界，而現在這些虛構角色開始說話，工作，有了職位。這個比喻比AI 是工具要誠實得多。

◎通諭說的解除武裝，不是比喻

教宗 Leo 十四世在致辭中說，AI 需要被解除武裝。他知道這個詞很強，他說是故意選的，因為這個時刻需要能夠喚醒良知的語言。他把 AI 的治理問題類比為核武裁軍——教會長期推動核武裁軍，認為每一種強大的技術力量都必須伴隨道德辨別與公共管控。他的邏輯是：AI 必須從那些把它變成支配，排斥與死亡工具的邏輯中解放出來。這個說法比任何一份政府 AI 監管白皮書都更直接。但也請注意分母：說這句話的人，是一個擁有十幾億信徒的機構的最高領袖，他的動員能量是真實的，但能否轉化為具體的治理機制，是另一個問題。

◎AI 的殖民性，這個角度主流討論幾乎沒有

來自聖克拉拉大學耶穌會神學院的神學者（transcript 中名字辨識不清）從全球南方視角提出了一個少有人說的問題：AI 的發展高度集中在少數富裕國家，它的訓練資料，獲利結構與決策權力都在那裡。通諭直接引用教宗的話：殖民主義已經採取新的形式，它不再只是支配身體，而是佔用資料，把個人生活轉化為可剝削的資訊。更具體的是，通諭提到全球南方的兒童與青少年在危險條件下開採稀土元素，為的是讓算力持續不中斷地運作。這些人的身體受傷，磨損，但在 AI 的使用者介面上完全看不見。Olah 也點名了同一個問題：AI 開發集中在少數富裕國家，我們沒有任何機制確保收益能夠全球共享，這是一個未解決的問題。

三十年看下來，每一波技術革命都有人說這次不一樣，然後都用同一套劇本收場：利益集中，代價外部化，弱勢者買單。這場發布會的特別之處不是教宗說了什麼，而是 Anthropic 的人出現在那裡，而且說的話比他們平常的公關稿誠實。Olah 說我們需要外部的批評者，通諭說技術必須被解除武裝——這兩句話方向一致，但從誰的嘴裡說出來，在什麼誘因下說出來，決定了它值幾分。現在的問題不是有沒有人說對的話，而是說完之後會不會有人去做。