Cloudflare 9月起封鎖混合爬蟲，強迫 AI 公司為內容付費

Cloudflare 對 AI 產業下了一道最後期限。從 2026 年 9 月 15 日起，Cloudflare 的預設設定將封鎖「混合用途爬蟲」爬取含廣告的頁面——也就是說，那些同時用於搜尋、AI 代理、和模型訓練的爬蟲，將在默認狀態下被擋在門外。這條規則適用於所有新客戶、現有客戶的新站台，以及全體免費用戶。想繼續爬？網站主可以手動調整設定——但主動權已經從 AI 公司手上移走了。

Cloudflare CEO Matthew Prince 在公告中點出了一個關鍵背景：機器人流量已首次超越真人流量，而這個轉折點比預期提早了將近一年。這個數字說明了為什麼 Cloudflare 選在此刻出手——網路基礎設施的主要使用者已經不是人類，而是 AI 公司的爬蟲，但內容的費用卻依然由發布商獨自吸收。Cloudflare 同時揭露，AI 爬蟲超過 50% 的爬取流量花在重複抓取未變更的頁面，這對發布商的頻寬和運算資源是一種無效消耗。

更值得注意的是商業模型的演進。Cloudflare 原本推出的 Pay Per Crawl——讓網站向 AI 爬蟲收取抓取費用——現在正升級為「Pay Per Use」。差別在哪？不是抓了就算，而是「內容真的產生價值時才收費」。Cloudflare 目前已與 Ceramic.ai 和 You.com 合作落地：當發布商的內容出現在 Ceramic 的 AI 搜尋結果、或被 You.com 用來存取付費內容時，發布商就能獲得分潤。Cloudflare 表示其他 AI 公司可以自定義合作模式，但框架已經擺在那裡了——進來談，或者被擋在外面。

對 AI 產業的意義，比表面看起來更直接。長期以來，AI 公司把免費爬取網路內容視為理所當然的訓練原料，法律灰色地帶提供了掩護。Cloudflare 這一步的殺傷力不在訴訟、不在立法，而在基礎設施層——全球有大量網站跑在 Cloudflare 上，預設封鎖意味著 AI 公司什麼都不做的結果，就是被擋住。Cloudflare 也在公告中點名全球最大搜尋引擎（顯然是 Google），指 Google 因為讓網站難以做到「被搜尋收錄但不被 AI 使用」而掌握了比其他 AI 公司多出約兩倍的資訊。Google 方面回應稱已提供 Google Extended 機器人讓網站主動選擇退出 AI 訓練用途，且不影響搜尋排名，但其旗艦 Googlebot 仍同時用於搜尋與 AI Overviews、AI Mode 等功能——這個邏輯漏洞，Cloudflare 正是盯著這裡打。

對亞太地區的決策者而言，這件事有兩個層面要看。第一是合規成本：在 Cloudflare 基礎設施上有大量流量的 AI 服務，無論總部在哪，9 月之後都必須正視爬蟲分離的技術改造與授權談判成本。第二是市場機會：Pay Per Use 模式一旦形成規模，內容資產充裕的媒體集團、垂直領域數據平台，反而有機會把過去被白嫖的內容變成可計費的資產。Cloudflare 扮演的角色更像一個強制撮合的市場造市者，而不只是防火牆供應商。這個生態系統能不能真正跑起來，取決於有多少 AI 公司願意進場談，以及 Pay Per Use 的分潤結構對發布商是否夠有吸引力——但方向已定，免費爬取的黃金時代正在縮小。