【專訪】Airbnb 技術長 Al-Dahle:公司大腦最怕AI記住錯的事
公司真正值錢的知識,常常不在文件裡,而在老員工腦中。Airbnb 技術長 Ahmad Al-Dahle 曾參與打造第一代 iPhone,也在 Meta 帶領開發 Llama 模型。如今他在 Airbnb 打造一顆公司大腦,要把這些經驗交給能自己動手做事的 AI 代理。他上 TWiML AI Podcast 時提醒:知識越堆越多,AI 也可能學到錯的東西。
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
這場有三個重點。一是公司大腦 Everest 怎麼避免 AI 被過時資訊誤導。二是他不比誰耗掉最多 token 這種 AI 用量單位,而是看產品時程有沒有縮短。三是客服已有一半對話由 AI 獨力解決,但房東與房客吵架時的調解,至今仍是 AI 最難的考題。合起來看,他的態度是大膽用,同時隨時懷疑自己的量尺。
◎公司大腦最怕記住錯的事
Everest 從工程師的日常工作中收集做法。以定價這種規則繁複的領域為例,目標是讓不熟的人也能交出像樣的程式碼。但他坦言,每抽出一條經驗就存成文件,模型偏偏很會翻出過時或錯誤的那條。他主張分段給資訊,像帶新人先指一步,再讓他問下一步,一次塞太多反而壞事。他也承認,還沒把握架構是對的。
◎不限用量,看的是時程有沒有往前收

他不設用量排行榜,也不一刀切限制。完全不用的人需要協助,用得很兇的人則要去了解:有人該學省著用,有人正在做高價值的系統搬遷。程式產出量增加只代表做得多。他認為最好的指標,是產品時程往前收。評測時若各家模型都拿到 92%,93% 左右,他反而懷疑考題不夠難。
◎AI 已解決一半客服,最難的是調解
Airbnb 約 50% 的客服對話已由 AI 獨力結案。系統會明講對方是 AI,使用者說要找真人就轉接。他說最難的是房東與房客起爭執:兩邊都想爭取有利結果,證據又難驗證,一張照片就能用 AI 改成桌子少一隻腳。公司還不能偏袒任何一方。這類案子目前仍交給受過訓練的真人處理。
回到公司大腦,他把接下來的問題攤開來講:Everest 規模變大後會不會被汙染,架構要不要重寫,他說還不知道。客服則要從一半往 100% 推進。同時,Airbnb 想從住宿擴大到實體世界的各種活動。他透露近期還有新東西要推出,值得觀察。
說明 Airbnb 重視工藝,衡量 AI 生產力時除了 PR 產出量與 token 用量,也看缺陷比率與穩定度指標。
以定價領域落地一個 PR 為例,說明如何用固定任務評測 Everest 能否讓工作更快,更準確。
認為向量搜尋難以擴展到全公司使用,markdown 檔案也可能造成脈絡汙染,主張分段揭露脈絡。
說明用校準過的模型評分員打分,並以成本對準確度的圖表比較開源與閉源模型;分數若都落在 92%,93% 左右,就難以拉開差距。
表示不採用 token 排行榜與嚴格用量上限,觀察到用量大的人分成兩種情況,並留意全程用頂級模型,上萬次工具呼叫的極端案例。
公布約 50% 客服對話完全由 AI 解決,強調會向使用者表明是 AI,並可依要求轉接真人。
回應是否開放 MCP 給外部代理:旅遊的關鍵是信任而非便利,提到約 40% 美國人用 AI 尋找旅遊靈感。
說明因延遲要求嚴格,Airbnb 自建後訓練與 RL 環境,把小型開源模型特化,用在搜尋等狹窄任務上。
看完今天的,讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談,五分鐘跟上。
已出刊 145 期 ・ 隨時可退訂

