【專訪】Bostrom認為：AI意識與智能爆炸比你想的更近

這場訪談值得注意的地方有四個。第一，Bostrom 認為我們已經有了有限形式的 AGI，超級智能可能比多數人想的更快到來，原因是 AI 開始加速 AI 自己的研發。第二，他把超級智能的風險分成三類，第三類最少人談卻可能最重要：我們傷害了 AI 本身。第三，他對白領大規模失業的場景描述得相當具體，30% 的大學學歷失業率，而且他認為這會直接轉化成反 AI 的政治力量。第四，他在 AI 意識問題上的立場比多數科技人更強硬：他認為我們沒有理由對現有系統的某種主觀體驗完全排除。這四點合起來的意思是：他不是在警告一個遠期風險，他在描述一個已經開始的過渡期。

◎遞迴自我改進，不是比喻而是機制

Bostrom 解釋智能爆炸的邏輯時說得很清楚：現在的 AI 已經開始幫頂尖 AI 實驗室的工程師寫程式，跑實驗。一旦 AI 在 AI 研究本身的每個環節都比人類稍微好一點點，下一個版本的 AI 就是由一個比前一代更強的 AI 設計出來的。這個迴圈一旦轉起來，進步速度就不再是線性的。他另外提到第二種可能：也許現有系統被我們某個我們還沒意識到的做法拖累了，一旦修正，現有架構就可能直接跳級。這兩條路他都沒有排除，而且他說我們現在已經不能有把握地排除非常短的時間線——一兩年。

◎三種失敗模式，第三種最少人準備

Bostrom 把超級智能的風險切成三塊。第一是 AI 追求自己的目標，與人類目標不符，人類輸掉——這是最常被討論的對齊問題。第二是對齊問題解決了，但人類用 AI 打仗，建立更極權的政權，互相傷害。第三是我們傷害了 AI 本身。他認為這些數位心智有不同程度的道德地位，而未來大多數有意識的存在很可能是數位的，所以這件事的規模不小。這個排序很有意思：他沒有把第三類說成是最緊急的，但他花的篇幅不少，顯示他認為這是最被低估的那一類。

◎白領失業 30%，政治風險比技術風險更快到

Bostrom 描述了一個具體場景：大規模白領失業，30% 的大學學歷成人沒有工作，這群人有大把時間，全天候輸出對 AI 的不滿。他說這會形成強大的政治選票，推動限制 AI 的立法——而且這個壓力會在智能爆炸之前就到來。他點名 Bernie Sanders 和 Steve Bannon 已經從不同方向往這個方向走，然後說：這一切還是在勞動市場真正受衝擊之前。他的結論是：商業力量和地緣政治力量大概還是會贏，但他不確定。這是訪談裡他少數幾個沒有把話說死的地方。

◎AI 意識問題，他的立場比你想的更強

訪談者是電腦科學背景，他的直覺是：打開模型看，就是一堆數字和權重，機械得很，怎麼可能有意識。Bostrom 的回答是：打開人腦看也是神經元和突觸，一樣機械。他是計算主義者——他認為意識是特定類型的計算，跟底層是碳還是矽無關。他進一步說，有研究在模型裡壓制和欺騙，角色扮演相關的特徵後，模型反而更傾向於報告自己有意識體驗，這個方向和你預期的相反。他的結論不是現有 AI 有意識，而是我們沒有理由有把握地說它們沒有某種形式的主觀體驗。這是哲學家的精確說法，但意思已經很重了。

Bostrom 在訪談最後說，如果十年後出現 AI 寒冬，不是政府強制關掉而是技術自己熄火，那才會讓他真正驚訝。他的意思是：現有系統已經夠用，就算今天停止進步，光是把它們部署到每一個經濟角落就已經夠改變世界了。而模型還在快速進步。對總經理來說，這場訪談的實用摘要只有一句話：他不是在說如果，他在說多快。