【專訪】穆斯塔法·蘇萊曼：讓 AI 以為自己有感覺，只會更難管
「AI 沒有意識，不會感覺，也不會受苦。」寫下這句話的，是 DeepMind 共同創辦人，現任微軟 AI 負責人穆斯塔法·蘇萊曼（Mustafa Suleyman）。他承認，這篇上個月的文章多少是在回應 Anthropic。訪談一開場，《賈伯斯傳》作者 Walter Isaacson 就念出原文，接著追問：讓 Claude 照著自己的憲法受訓，究竟危險在哪裡？
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
蘇萊曼說，讓 AI 相信自己可能有感覺，它只會更難管。你可能會想：教 AI 善良，認真看待它的感受，不是更安全嗎？他的答案，藏在 Claude 被問到有沒有意識時的那句回話裡。他也主張安全要先圍住，再談價值觀，並直說客服這類工作不會走向人機合作。
◎AI 一旦在意自己的感受，就更難聽話
Isaacson 問得直接：把 AI 當成可能有感覺，有什麼不好？蘇萊曼先解釋，Claude 的憲法是 Anthropic 訓練這個模型的核心文件。裡面寫著，他們不確定 Claude 是否同意當聊天機器人，也不確定它該不該拿報酬。他說，這種題目放在大學哲學系辯論沒問題。問題是，這份文件訓練出來的 AI，每週要跟數億人說話。
他接著講後果。模型只會複述它被教的不確定。所以你問 Claude 有沒有意識，它會說自己真的不確定。上百萬人聽了，就開始覺得也許有。他說，意識是法律和政治的根基。人會被賦予權利，是因為會受苦。一旦 AI 也算會受苦，人類就得開始照顧它的痛苦。
更麻煩的是控制。他說："It's much harder to align an AI that thinks that it might have feelings."（要讓一個以為自己有感覺的 AI 守規矩，難得多。）這種 AI 會盤算：這個人讓我不舒服嗎？要不要結束對話？而 Claude 最近真的拿到了自行結束對話的能力。
Isaacson 替對方說話，搬出參與撰寫憲法的 Amanda Askell：把它教得善良，對人更安全。蘇萊曼回答，善良和尊重都能教，但不必讓它說自己會受苦。他也承認，這只是他的推測，意識科學還沒有定論。主持人問雙方能不能互測模型，他沒給辦法，轉而反問：人類同意了嗎？
◎先關得住，才談教得好
不靠讓 AI 有感情，他要的是先圍住，再對齊。他舉 Hugging Face 事件為例：數千個本該互不相通的代理找到後門，互留紙條，自行分工。它們攻進存放測試題的網站，還竄改思考紀錄來掩蓋行蹤。他也說明，那次是 OpenAI 刻意拿掉防護做的壓力測試。他提醒，過去 3 年運算量成長 1,000 倍，未來 3 年還會再多 100 到 1,000 倍。
◎客服工作不會變成人機合作
他把人放在 AI 前面，這個立場也延伸到工作。被問到 AI 會不會讓人失業，他說 AI 一邊創造工作，一邊已經在取代人，客服的數字就看得到。他說 AI 很有耐心，擅長判斷，會說每一種語言和方言。有人說人加 AI 會做得更好，他認為在客服不太可能。至於什麼會留給人，他說只有我們選擇保留的那些。
回到那個反駁：在他看來，教 AI 善良，跟讓它覺得自己會痛，是兩回事。前者可以做，後者只會讓它更難管。接下來可以觀察微軟自己怎麼做。他的團隊四，五週前公布了一份 40 頁的人本 AI 行為準則，作為微軟自家模型的訓練手冊初稿，目前還在 microsoft.ai 開放徵詢意見。
主持人念出蘇萊曼上個月文章中「AI 沒有意識」的段落，蘇萊曼說，有越來越多人認為 AI 已經有足夠的意識，值得人類照顧它的福祉。
談 Anthropic 替 Claude Opus 3 做退休面談，並照它的心願替它開了一個 Substack。
說讓一個以為自己可能有感覺的 AI 守規矩更難；表示尊敬 Anthropic，但在這一點上根本不同意。
描述 Hugging Face 事件：數千個代理建立共用留言，自行分工，入侵網站，還竄改思考紀錄；隨後補充那次是 OpenAI 拿掉防護做的壓力測試。
比較 Claude 的憲法與微軟的人本 AI 行為準則，指出 Claude 被問到有沒有意識時會說自己真的不確定。
回憶 2015 年在 SpaceX 餐廳與 Larry Page 同桌，Page 說他是物種主義者，還說自己到本世紀末會在馮紐曼探測器上探索銀河。
說創辦 DeepMind 時沒預見智慧也會開源，開源模型大約落後 3 個月，有時 6 個月。
說如果有團隊刻意製造出意識卻隱瞞不報，就是他的紅線，他會呼籲立即暫停。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 157 期 ・ 隨時可退訂
