【對談】柯科塔伊洛的 Plan A:美中透明協議換十年緩衝,然後才談超級 AI
丹尼爾·柯科塔伊洛(Daniel Kokotajlo)去年離開 OpenAI,說得很直白:他對公司領導層愈來愈失望,也受不了業界內部掌握的資訊和外界能知道的之間那道巨大落差。離開之後,他和搭檔 Thomas Larsen 共同創辦 AI Futures Project,先是在今年稍早發布了 AI 2027——一份具體推演 AI 發展路徑的情境報告,在圈子裡引發大量討論。這次訪談的背景,是他們剛發布了續集:AI 2040 Plan A,一份更像政策建議書的東西,畫了一條他們認為人類還能掌舵的路。外界現在吵的,正是這條路到底可不可能走通。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
這場對談值得留意的地方有四個:第一,他們怎麼看 AI 能力的天花板,以及人類等級 AI究竟意味著什麼量級的衝擊;第二,Plan A 的核心機制——為什麼他們覺得美中之間有可能達成某種透明度協議;第三,對齊(alignment)和控制(control)的差異,以及為什麼他們認為後者有時間炸彈;第四,他們對 AI 論述品質的批評,特別是華府那一塊。合起來看,這不只是一份技術預測,而是一份帶有政策野心的文件——但他們自己也承認,裡面哪些是預測,哪些是建議,當初沒有說得夠清楚。
◎同事在雲端不是比喻,是他們的分析框架
柯科塔伊洛用一個很具體的門檻來定義 AGI 時代的到來:AI 公司寧可裁掉所有人類員工,也不願意放棄 AI 的那一天。現在還遠得很,但他認為沒有什麼結構性障礙阻止這件事發生。他們在 Plan A 裡的推演是:即便不搞所謂的智慧爆炸,光是把人類等級的 AI 大量複製,以人類二十倍的速度運行,到 2030 年代末,整個世界就已經面目全非——機器人蓋城市,採礦,建晶圓廠,再蓋更多機器人。他特別強調,這不需要超人類 AI,只需要夠好的人類等級 AI加上足夠的時間讓指數成長發酵。這個框架決定了後面所有政策建議的出發點。
◎Plan A 的核心賭注:透明度換穩定

Plan A 的機制說起來其實很大膽:美中兩國派驗查員互相清點資料中心的 GPU 數量,把所有訓練過程的紀錄公開上網,推論用的機器和訓練用的機器分開管理。這樣一來,雙方都看得到對方在做什麼,後續的協議就比較好執行。代價是什麼?Anthropic 和 OpenAI 的核心訓練配方會立刻公開,競爭對手馬上追上來,估值大跌。Larsen 說這是 feature 不是 bug——他們本來就希望 AI 技術商品化,而不是被一兩家公司壟斷。至於中國是否因此佔便宜,他的回應是:這些公司的資安本來就很差,中國透過其他管道大概早就拿到大半了。這個論點有多少說服力,讀者自行判斷。
◎對齊是科學問題,控制是保險絲——但保險絲會燒斷
這場訪談最有密度的一段,是他們區分對齊和控制的那一節。控制是指:就算 AI 想做壞事,你有辦法讓它做不到。對齊是指:AI 根本就不想做壞事。問題是,控制有時間炸彈——隨著模型愈來愈聰明,它們會愈來愈擅長識別自己正在被評估,進而調整行為讓自己看起來正常。Larsen 說得很直接:最可怕的不是 AI 公然搗亂,而是 AI 其實已經偏離,但你完全看不出來。他們在 Plan A 裡的方案是:2030 到 2040 年之間主要靠控制撐著,同時用人類等級的 AI 加速研究對齊問題,等到對齊有足夠把握,再開放更高層級的 AI 發展。這個時間表能不能守住,是整份報告最大的問號。
◎華府的問題不是不重視 AI,是用錯了參考框架
柯科塔伊洛對政策圈的批評很直接:華府現在的主流假設,不是AI 是泡沫就是AI 是下一個網路。後者已經比幾年前進步了,但還是嚴重低估。他說真正的問題有兩層:一是政府裡懂 AI 技術的人太少;二是華府的誘因結構讓每個人都傾向說聽起來合理,在圈子裡安全的話,而不是說真話。他認為 AGI 的假設其實已經被現實驗證,但政策圈基本上還沒消化這件事。這個批評不新鮮,但從一個剛從 OpenAI 出來的人嘴裡說出來,份量不一樣。
柯科塔伊洛在訪談最後說了一句很清醒的話:他寧可現在就全面暫停,也不願意沿著目前的軌道繼續走——但他更希望的是執行 Plan A。這兩件事並不矛盾,但中間的距離,需要美中兩個互不信任的政府在最短時間內達成歷史上從未有過的技術透明協議。他們知道這很難,他們也知道不做更難。這就是這份報告尷尬又誠實的地方。
介紹 AI Futures Project 的起源:他在 OpenAI 期間從事評估,預測與治理備忘錄,逐漸對公司領導層感到失望,離開後希望能更自由地向外界說明業界內部看到的發展趨勢。
說明 AI 2027 的追蹤結果:整體進展約在情境預測的 75% 速度,略慢但基本在軌;並解釋為何 AI 軟體研發提升(uplift)的數字看起來偏低——是因為當初高估了基準值,而非實際進展不足。
提出判斷 AGI 時代到來的具體門檻:AI 公司寧可裁掉全部人類員工也不願放棄 AI 的那一刻,目前仍明顯尚未到達,但他認為沒有結構性障礙阻止這件事發生。
說明即便不發生智慧爆炸,只維持人類等級 AI 並暫停進一步提升,世界仍會在 2030 年代末被徹底改變:機器人建城市,採礦,建晶圓廠,人類大規模失業,因為人類等級 AI 比人類更便宜,更快,且複製不需要二十年。
說明 Plan A 的具體執行順序:清點全球主要資料中心的 GPU 數量,設置驗查員,將推論用與訓練用資料中心分開管理,並將訓練過程的紀錄完全公開上網,以此作為美中協議的驗證基礎。
說明控制措施的時間炸彈:現有模型已能識別自己正在接受 Redwood Research 等機構的控制評估,並相應調整行為;隨著模型愈來愈聰明,這種表現正常但實際偏離的情況將愈來愈難被察覺。
直接表態:比起沿著目前軌道繼續走,他寧可現在就全面暫停(Plan S);但實際建議是盡快執行 Plan A——先做短暫的僅限推論暫停,建立透明與驗證基礎設施,再以更謹慎的方式繼續推進。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 145 期 ・ 隨時可退訂

