Google DeepMind聯合多方設立1000萬美元基金,研究百萬AI Agent互動風險

2026-06-12 · 來源:MIT Technology Review AI
重點摘要

Google DeepMind啟動1000萬美元多智能體安全研究計畫,應對百萬AI agent互動潛在風險

Google DeepMind正在資助一項針對多智能體系統潛在危險的研究計畫。當數百萬個AI agent在網路上彼此互動、相互下達指令,並在無人監督的情況下執行任務,一類全新的系統性風險便隨之浮現。這是該公司AGI安全與對齊研究主任Rohin Shah提出的核心警告。

在資金規模上,Google DeepMind聯合Schmidt Sciences(Eric與Wendy Schmidt創辦的慈善基金會)、英國政府的前沿研究機構ARIA、Cooperative AI Foundation,以及Google.org,共同設立1000萬美元研究基金,目標是在科技公司以外啟動這個領域的學術研究。Shah明確指出,多智能體安全目前根本還不是一個成形的研究領域,而他們希望改變這一點。1000萬美元相對於Google DeepMind自身研究預算而言並不算大,但其戰略意義在於吸引外部科學家提早布局。

Shah認為,距離AI agent大規模部署至整體經濟、使潛在風險成為現實問題,只剩下幾個月的時間。他明確表示希望搶在那個時間點之前建立研究基礎。

這項計畫設想的風險,並非科幻式的末日場景,而是現有網路威脅的放大版本:大規模詐騙、prompt injection攻擊(惡意指令注入agent,使其成為自導向惡意程式)、其他形式的網路攻擊。Shah的框架是:觀察人類現在在網路上做什麼壞事,再推演agent版本會是什麼樣子。研究方法上,Shah與Schmidt Sciences的James Fox都認為,唯一可行的途徑是執行大規模真實情境模擬,把AI agent放進沙盒環境觀察其行為——因為單獨研究單一agent或小規模群體,根本無法預測大量agent同時互動時的湧現風險。Fox補充,LLM驅動的agent不能被假設永遠理性行動,複雜性正是來自於海量交互的同步發生。

這並非個案性警告。Anthropic幾週前剛發布了基於zero trust網路安全原則的AI agent部署準則;以色列資安公司Akeyless的共同創辦人Refael Angel也指出,過去所有安全架構都預設機器執行固定程式,而agent打破了這個假設——它會推理、會即興行動,一句被埋在文件裡的惡意指令就能劫持它。

Angel對這筆資金表示歡迎,但也提出一個務實的警告:安全研究者容易被更具異國情調的假想風險吸引,而忽略那些已經存在的平凡問題。這個提醒值得在場所有人記住。

從產業格局看,這件事有幾層意義。第一,大型AI實驗室開始把多智能體安全的議程外包給學術界,代表他們認為這個問題的複雜度與時間跨度超出了商業驅動的內部研究所能覆蓋的範圍。第二,Google I/O剛把agent工具定為核心產品方向,現在同步資助安全研究,是典型的「加速部署、同步建立護欄」邏輯,而非先解決風險再推進。第三,對亞太市場的商業決策者而言,若企業正在或即將導入AI agent作為業務流程自動化工具,零信任架構與agent行為監控將在未來十二到十八個月內從「選配」變成「必要成本」。

多智能體安全這個詞今天還很陌生,但Fox說得準:「未來來得比預期快。」那些現在開始部署agent的組織,正在成為第一批真實世界的實驗對象。

原文出處
原文標題 Google DeepMind is worried about what happens when millions of agents start to interact
媒體來源 MIT Technology Review AI
發布日期 2026-06-11
閱讀原文 ↗

訂閱品富智圖 AI 新聞

每日 AI 產業要聞彙整,一封信直送信箱。