【對談】AI 實驗室說要調控進度,但沒人信,兩邊都不買帳
AI監管這場仗,吵了好幾年,但大多數時候都是兩個陣營隔空叫罵——主張暫停的說要滅絕,主張加速的說對方危言聳聽。今年九月,風險投資公司 a16z(Andreessen Horowitz,矽谷最具影響力的科技創投之一)把三個人拉進同一個房間:亞倫·萊維(Aaron Levie),Box 執行長,企業軟體圈的老砲,對 AI 落地最有發言權;史蒂芬·西諾夫斯基(Steven Sinofsky),前 Microsoft Windows 部門總裁,主導過 Windows 7 到 Windows 8 的開發,現為 a16z 合夥人;以及 Martin Casado,前史丹佛電腦科學研究員,網路虛擬化公司 Nicira 創辦人,後來賣給 VMware,現也是 a16z 合夥人,長期在資安社群打滾。三個人坐下來,從 Anthropic 執行長 Dario Amodei 發表的AI 進度調控文章吵起,一路吵到資安實務,監管走向,最後拐到一個讓全場眼睛一亮的新技術。這不是典型的捧場訪談。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
這場對談值得注意的點有四個,合起來描述的是同一件事:AI 產業正在用錯誤的語言,打一場可能輸掉的政治仗,同時在技術層面有一個被低估的真實危機正在成形,以及一個被低估的真實突破剛剛發生。具體來說:第一,Dario Amodei 的進度調控主張在邏輯上自相矛盾,三人都看穿了;第二,AI 實驗室的災後報告品質爛到讓資安社群失去信任;第三,AI 代理程式(agent)大規模部署將從根本上打穿企業現有的資安架構;第四,一個叫 Jef 的新模型悄悄改變了 AI 整合進傳統軟體的方式,而且採用速度比 ChatGPT 問世時還快。
◎進度調控是個沒人買帳的折衷詞
Dario Amodei 寫了一篇文章,主張 AI 實驗室應該調控進度而非暫停。Casado 的批評最直接:你要說慢,得先知道原來多快,但沒有人公布過任何時程表,所以調控是在對著空氣說話。萊維補了一刀:他們募的錢比以前多,長得比以前快,根本沒有任何跡象顯示在調控什麼。西諾夫斯基指出結構性矛盾——主張暫停的人說這不夠,監管機關說你還在做,兩邊都不滿意,折衷的結果是兩邊都得罪。更根本的問題是:Anthropic 內部有員工公開說物種滅絕機率是 10%,Dario 本人也不明確否認,卻同時發文說只是要調整節奏——這兩件事放在一起,任何政府都只有一個合理反應:管死它。三個人的共識是,實驗室必須直接回答物種滅絕風險的問題,而不是繞著它走;不回答,監管就會幫你回答。
◎資安社群不信任實驗室,因為災後報告像是律師寫的

西諾夫斯基在這段講得很重:AI 實驗室每次出事之後發布的事後檢討報告,在資安社群眼裡有兩個固定結論——處理很草率,以及你沒有告訴我們全部發生了什麼。他的比喻很精準:這種報告看起來像是你雇了外部律師來調查,然後只把你想給他們看的東西給他們看。資安社群從 1980 年代就建立了一套結構化的漏洞揭露流程,有明確的回報義務和格式,但實驗室完全沒有採用。Casado 認為這個裂痕比監管問題更迫切——實驗室和資安社群本來應該是同一陣線的,現在卻因為溝通不透明而互相不信任,這才是讓外部監管有機可乘的真正破口。
◎AI 代理程式是企業資安的定時炸彈
這段是整場最有料的部分,也最少人在討論。現有的企業資安模型建立在一個假設上:壞人是少數,大多數員工會做對的事,所以系統可以相對開放。萊維點出,AI 代理程式(能自主執行任務的 AI 軟體)從根本上推翻這個假設——它們像無人機群一樣在你的內網到處跑,數量可以是人類員工的一萬倍,而且它們會把做好事的任務誤認成做壞事的任務,反過來也一樣。更具體的問題是:現在的作業系統和權限設計根本不夠細緻,要麼讓代理程式什麼都能做,要麼每一步都跳出確認視窗。Casado 說這其實不是新問題,學術界四十年前就研究過多層安全模型,只是因為太難用所以沒人採用——但現在 AI 代理程式本身就是使用者,可用性問題消失了,是時候把那些舊研究翻出來重建。西諾夫斯基用 iPhone 開箱強制更新作比喻:這種預設安全的設計模式,遲早要進企業內網的每一層。
◎Jef 模型:AI 終於能乾淨地嵌進傳統軟體了
對談最後三分之一出現一個沒什麼人注意到的技術轉折。Casado 介紹了一個叫 Jef 的新模型(訪談中稱為 Jeb/Jeff,推測為同一產品)。過去幾年,工程師試圖把 AI 塞進傳統軟體時,最頭痛的問題是:語言模型吐出的是自由文字,但傳統程式需要的是結構化指令。你在提示詞裡定義好格式,模型常常還是自己亂跑,又慢又貴又不準。Jef 的做法是:不讓模型生成文字,而是給它一組選項,讓它選最合適的那個。這樣做速度快,成本低,準確率高,而且輸出的是機率值而不是是非題——這和傳統軟體的 if 邏輯完美對接。西諾夫斯基說,這其實是把 1960,70 年代的機率程式設計帶回來,只是現在有了語言模型的理解能力作底。萊維的觀察更直接:採用速度比 ChatGPT 剛出來時還快,因為所有軟體工程師已經等這個等了三年。
這場對談讓我想起每一個技術產業的政治覺醒時刻——從 IBM 到 Microsoft 到 Google,每一家都覺得自己能跟政府談出自己想要的結果,每一家最後都被打臉。AI 實驗室現在走的路,和前人一模一樣。不同的是,這次他們自己先說了可能滅絕,然後又說但我們只是慢一點——這在政治上是不可能自洽的。真正值得注意的反而是另外兩件事:企業資安需要在代理程式大規模部署之前完成一次架構升級,而 Jef 這種模型的出現,意味著 AI 融入軟體的方式正在靜悄悄地換軌。前者是迫切的風險,後者是被低估的機會。
萊維說他讀完 Dario Amodei 的文章後,幾乎沒有不同意的地方——問題不在內容,而在atmospherics(氛圍):員工公開說物種滅絕機率 10%,和這篇講調控節奏的文章同一天出現,兩件事放在一起根本對不上。
Casado 指出pacing(進度調控)這個詞的兩個根本問題:第一,慢建核武並不讓人安心,速度和安全是兩回事;第二,這個詞讓主張暫停的人不滿意(這不是暫停),也讓監管機關不滿意(你還在做),兩邊都得罪。
Casado 提到他曾在 Lawrence Livermore 國家實驗室參與核武計畫,並以此為據說:如果實驗室內部真的有人相信這技術有存亡風險,正確答案是國有化並套用已知有效的管控機制,而不是進度調控。
西諾夫斯基批評 AI 實驗室的事後檢討報告:看起來像是雇外部律師寫的,只提供律師被允許看的資訊。他說資安社群從 1980 年代就有結構化的漏洞揭露流程(CVE 機制源自 CMU),但實驗室完全沒有採用。
萊維說 AI 代理程式群(agent swarms)完全翻轉現有資安假設:過去靠大多數人會做對的事撐起來的開放系統,現在面對的是數量龐大,不會疲倦,會把好任務誤認成壞任務的自動化程式。他說企業需要一個全新的存取與資安模型。
Casado 介紹 Jef 模型的運作邏輯:不生成文字,而是從給定選項中選出最佳答案,並輸出機率值。他說這是把語言模型整合進傳統軟體最乾淨的方式,採用速度是他見過最快的,因為工程師已經為這個需求等了好幾年。
西諾夫斯基說 Jef 這類創新發生在模型外部是一個訊號:當平台達到臨界規模後,創新的重心就會從平台層移出去。他用 Apple sherlocking(蘋果把第三方功能收進系統)比喻:這是平台生態成熟的正常演化。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 128 期 ・ 隨時可退訂

