【專訪】納德拉：別等AI自己變安全，先假設它會出錯
賣 AI 給全球企業的微軟，執行長卻叫大家先假設模型會出事。薩帝亞·納德拉（Satya Nadella）大約十天前寫了一篇文章，主張應該假設模型已被攻破。他在 2018，2019 年就相信模型越做越大會越強，微軟也是最早押注 OpenAI 的大公司。創投節目 20VC 主持人 Harry Stebbings 開場就問：這代表模型公司自己的說法不能信嗎？
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
納德拉說，別再期待模型自己變安全，要先假設它會出錯。可是連微軟都不信模型，企業還敢把工作交給 AI 嗎？他的答案不在模型裡面，而在模型外面。他也談到每家公司都該守住自己的評測考卷，以及多數 AI 用量終將變成便宜的大宗商品。
◎模型越強不代表越聽話，所以要在模型外面設防
Harry 問的是模型公司的揭露還能不能信。納德拉沒有直接說不能，而是先承認自己看錯了一件事。模型確實越做越強，但他原本以為，模型變大後，對齊會自己跟上。對齊，就是讓 AI 照人的意圖做事。現在看來沒有，連模型內部怎麼運作也還摸不透。節目尾聲他又說了一次：這是他過去一年最大的改變。
於是他把兩件事分開。對齊，他認為要在訓練時，甚至最初的預訓練就放進模型，靠事後的強化訓練做不到。資安則不必等。他主張借用資安界早有的零信任做法，不預設誰可靠，目標是 "contain any malfunctioning agent before it does any harm"（在任何失常的 AI 代理人造成傷害之前，把它關住）。
他接著描述微軟的做法。Agent 365 這類工具先給每個代理人一個身分。它每一次呼叫工具，呼叫模型，連推理過程都記下來，而且代理人不能自己改紀錄。再來設規則，監看行為有沒有偏離。他說這套架構已經存在，只是很多人把它跟 AI 安全混為一談，以為安全還沒解決，資安就無事可做。
Harry 追問：看模型的思考過程可靠嗎？他回得很直接：不可靠。思考過程本身可能不老實，模型公司若再把它藏起來，問題更大。他要求思考過程用英文寫，至少讓可信任的合作夥伴原樣檢查，再用多個模型交叉比對。至於誰來當裁判，他只說交給微軟和資安業者這類公司。
◎每家公司都該有一份自己的考卷
在模型外面設防，他也用在公司的價值上。他提出反向資訊悖論：過去是賣方洩露祕密就失去價值，現在換成買方要自保，連按讚，倒讚的使用紀錄，都在替模型公司創造價值。所以他主張每家公司都該有一套私有評測基準，像只有自己有的考卷，讓各家模型來比分，那就是公司的核心智慧財產。他說五年後，自稱 AI 原生公司將不再稀奇。
◎多數 AI 用量會變成便宜的大宗商品
管不管得住，也決定企業選哪種模型。他說，最後用哪個模型，取決於你有沒有把握控制它。Harry 問 24 個月後開放和封閉模型各占多少流量，他沒給比例，只說多數用量會變成大宗商品。聯合利華一開始用最前沿模型，後來處理貿易理賠改用微軟自家的 MAI 模型，因為比較便宜，還能用自己的紀錄訓練。
回到那個問題：連微軟都不信模型會自己變安全，企業還能用嗎？他的答案是能用，但信任不放在模型身上，而放在模型外面看得到的紀錄和規則上。接下來值得觀察的，是微軟的 Agent 365 能否讓企業管得住代理人，以及模型公司願不願意讓合作夥伴原樣檢查思考過程。
引述納德拉約十天前的文章「應假設模型已被攻破」，問是否代表不能依賴模型公司的揭露。
說規模化有效但對齊沒有隨之出現，主張打造工程化的零信任環境，並認為對齊必須在預訓練階段就放進權重。
描述 Agent 365 的架構：給每個代理人身分，記錄所有工具與模型呼叫，紀錄防竄改，設定規則並監看行為。
回答思考過程不可靠，若模型公司再隱藏會更糟，呼籲標準化並讓可信任夥伴原樣檢查。
談中國開放權重模型：未對齊的模型對各國都不好；微軟的 MAI 模型他稱為授權權重，想做成單純的軟體生意。
回答開放與封閉模型的流量占比：前沿模型永遠有市場，但多數用量會是大宗商品，Copilot 內部也混用便宜的封閉與開放權重模型。
引用 Hayek 與 Kenneth Arrow，提出反向資訊悖論，主張每家公司都要有私有評測基準作為核心智慧財產。
談百億美元級訓練：訓練只是研發支出的一部分，研發重的公司約占營收 15% 到 20%，關鍵在全球 GDP 成長率能否轉折。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 157 期 ・ 隨時可退訂
