【專訪】鐵馬克算出來了:超級 AI 失控機率 92%,那個 20% 是公關數字
MIT 物理學家馬克斯·鐵馬克(Max Tegmark)不是末日論者,他是認真做計算的人。他創辦了生命未來研究所,專門研究 AI 對人類存亡的威脅,簽名者包括 Stephen Hawking 和 Elon Musk。這場訪談裡,他說了一件讓人很難裝作沒聽見的事:他的團隊真的跑了數學,在他們找到的最樂觀情境下,超級 AI 失控的機率是 92%——而且那還只是用一次的結果。外界爭的是 AI 要不要管,怎麼管;他的答案是:你們連問題問錯了都不知道。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
這場訪談有四個值得停下來想的點。第一,那個 20% 的風險數字是公關操作,不是科學;真實數字是 92%。第二,那些知道危險的 CEO 仍然在跑,不是因為他們壞,是因為賽局結構讓他們停不下來。第三,從 AGI 到超級 AI 的距離不是幾十年,可能是幾天。第四,監管的解法其實很平凡,AI 公司只需要被當成普通公司對待就夠了。合起來看,這不是科幻恐嚇,而是一個物理學家在告訴你:河裡有一條你看不見的線,我們正在往那個方向漂。
◎20% 是 PR,92% 才是數學
你聽過業界領袖說 AI 有 20%,25% 的機率毀滅人類嗎?鐵馬克說那個數字沒有任何計算基礎,是他們能說出口而不被立刻叫停的最大數字——說大一點,顯示他們認真;說小一點,業務還能繼續跑。他自己的研究結果是 92%,而且那是最樂觀的情境,只用一次。他的邏輯很直接:我們現在完全不知道怎麼控制一個比人類聰明非常多的東西,所以只要有人把它建出來,人類大概率失去對地球的主導權。你可以不同意他的結論,但你得先拿出自己的計算。
◎CEO 們不是壞人,是賽局把他們困住了

鐵馬克認識 Elon Musk,Demis Hassabis(Google DeepMind 創辦人),Dario Amodei(Anthropic 執行長,Anthropic 是專注 AI 安全的研究公司)和 Sam Altman,跟他們私下都談過。他說這些人完全理解風險,但仍然在跑。原因不是道德問題,是結構問題:只要其中一個人單方面停下來,他的位置馬上被一個願意繼續跑的人取代。這是經濟學裡的公地悲劇——每個人都清楚集體的結局,卻沒有人有誘因先停。他說這像希臘悲劇:神諭已經告訴伊底帕斯會發生什麼,他還是走進去了。解法不是說服他們,而是改變規則,讓任何人都不必進入這場賽跑。
◎AGI 到超級 AI 的距離,不是幾十年
AGI(通用人工智慧)是指能在各個領域達到受過良好教育的成年人水準的 AI。鐵馬克說 GPT-4 大約達到 27%,GPT-5 達到 57%,差距正在快速縮小,他不會驚訝 AGI 在一兩年內出現。Demis Hassabis 認為至少還要四年,他說也許吧,但那仍然很快。真正的問題在下一步:大多數人以為從 AGI 到遠超人類的超級 AI 需要很長時間,他說這個假設是錯的。一旦 AI 能做所有人能做的事,它就能做 AI 研究本身,開始自我改進,版本迭代從幾個月壓縮到幾天,幾小時。他把這個過程叫做智慧爆炸,而它的上限不是人類的想像力,是物理定律。
◎監管的解法其實很無聊
鐵馬克說 AI 是美國唯一一個強大卻幾乎沒有監管的產業,比開一家三明治店管得還少。他不是在要求什麼特殊待遇,他要的是普通待遇:你在賣出去之前,先證明它不會害人。藥品要這樣,食品要這樣,AI 不需要例外。他引用 1950 年代德國的沙利竇邁事件——一種宣稱能減輕孕吐的藥,導致超過一千名嬰兒出生時沒有四肢——說明監管真空的代價從來不是抽象的,而是具體的人命。他的論點是:只要 AI 公司被當成一般公司對待,那種有人明天就會發布毀滅性產品的恐慌感會自動消失,因為它在通過安全驗證之前根本不會上市。
鐵馬克用尼加拉瓜瀑布做比喻:河裡有一條你眼睛看不見的線,過了那條線,再強的游泳選手也沒用。他說人類的那條線在 AGI 和超級 AI 之間的某個地方。我們現在還在線的上游,還能游向岸邊。問題是沒有人在岸邊插一根旗子告訴你線在哪裡,而掌舵的人說他們之後會負責任。之後,從來都不會到來。
開場直接說結論:他們的研究在最樂觀情境下,超級 AI 失控機率為 92%,且這只是使用一次的結果。
以三明治店比喻說明 AI 監管現狀:衛生稽查員可以關掉你的店,卻無法阻止你發布危險 AI 產品,因為後者在美國完全合法。
解釋為何 Elon Musk,Demis Hassabis,Dario Amodei,Sam Altman 明知風險仍繼續競賽:任何一人單獨停下,只會被替換,稱之為希臘悲劇結構。
說明 20% 風險數字是公關說法,沒有計算依據;並用賽局理論解釋為何超級 AI 競賽在邏輯上是自殺競賽而非軍備競賽。
說明 AGI 進度:GPT-4 約 27%,GPT-5 約 57%;預測 AGI 可能在一兩年內出現,並解釋為何 AGI 到超級 AI 的過渡期可能只有幾天,因為 AI 屆時可以自行研發下一代 AI。
以大象與人類的歷史比喻說明失控時機:大象無法預測人類會發明槍,人類也無法精確預測超級 AI 的手段;接著用尼加拉瓜瀑布的不歸線說明失去控制的臨界點概念。
透露與上述 CEO 私下談話的內容:對方都說我們理解,但現在還需要繼續跑一段,之後會更負責任,他指出之後始終沒有具體時間點。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 106 期 ・ 隨時可退訂
