【專訪】Josh Gao：機器人資料還差好幾個數量級，得靠人類戴感測器補
ChatGPT 學說話，靠的是網路上現成的免費文字；機器人要學拿蛋，開門，卻沒有這種現成教材。Sequoia Capital 合夥人 Sonya Huang 看好機器人即將迎來黃金年代，也直說它卡在資料。她請來 Josh Gao。他是 Mecha 創辦人兼執行長，公司專門生產並授權機器人基礎模型的訓練資料，等於這個產業的資料工廠。
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
Gao 在這場訪談講了三件事：機器人的資料要怎麼造出來，離夠用還差多遠，機器人會先在哪裡上工。合起來看，機器人不會在某一天突然全面爆發，而是隨著資料累積，一項任務接一項任務解鎖。誰掌握資料，誰就站在這波浪潮的上游。
◎資料不是撿來的，是讓人戴上感測器造出來的
Gao 說，機器人需要的資料包含畫面，動作和推理。Mecha 起步時做了一個手機 App，請華人阿姨叔叔拍自己煮飯打掃。後來發現手機拍到的資訊不夠，改做裝了鏡頭的棒球帽和能量測施力的觸覺手套，等於把人變成會走路的 Waymo。他說市面上買不到能可靠記錄力道的手套，只能自己一版一版改；連造假也得防，曾有人把網路上的麥當勞工作影片拿來交差。
◎資料量還差好幾個數量級，但不必等到全部到齊
兩年前，業界知名的第一人稱資料集 Ego4D 只有約 4000 小時，如今已累積到數百萬小時。Gao 拿 Tesla 比較：Tesla 花了十多年，靠上百萬輛車，才解決加速與轉向兩個自由度，機器人光一隻手就有數十個。他不認為這是全有或全無的事，商用場景會逐步解鎖。目前業界的資料配方正收斂成約百萬小時人類影片，數萬小時手持夾爪錄製的 UMI 資料，加上少量遙控操作。
◎家裡最難，工廠和飯店先上工
家庭影片最好拍，Gao 卻說家裡反而最難部署，因為機器人絕不能倒在小孩身上。他看好規則明確的工業場景。Mecha 研究摺衣服已經一年半，他認為短期內一定能解決；生產線上的取放和裝箱，一兩年內就能做到。至於像網球名將 Roger Federer 那樣打球，他借 AlphaGo 說明，先模仿人類，再自我對弈。難處在於真實世界還沒有夠好的模擬器。
面對機器人的資料荒，Gao 的解法是把人類的日常生活一點一滴錄成教材。他預估十年多後，世界上的機器人會遠多於人類；主持人追問是否上看千億台，他回答是。接下來值得注意的有兩件事：觸覺資料何時進入訓練配方，以及摺衣服，取放這些任務能不能如他所說，在一兩年內落地。
說明 Mecha 的定位：產生，處理並授權機器人基礎模型的訓練資料；機器人資料由畫面，動作，推理三種組成。
談最早的手機 App 試點：請華人長輩拍自己煮飯，打掃；也談力道資料的重要性，以及自行開發觸覺手套。
講資料工廠的實際運作：硬體要反覆改好幾個版本，要配送到數千戶家庭與企業，還要自建 100 Gbps 上傳線路來處理數百 PB 資料。
談資料造假：有人拿網路上第一人稱的麥當勞工作影片冒充自己錄的資料；他的結論是除了驗證機制，還得親自到現場看資料怎麼收集。
比較資料規模：Ego4D 約 4000 小時，現在已有數百萬小時；Tesla 花十多年解決兩個自由度，機器人還差好幾個數量級。
描述業界的資料配方：約百萬小時人類第一人稱資料，數萬小時 UMI 資料，再加上少量遙控操作；觸覺資料和模擬資料之後也會加入。
以 AlphaGo 從模仿人類到自我對弈的過程，說明機器人學習的路徑，並指出目前缺少能重現真實世界的模擬器。
預估十年多後機器人數量會遠多於人類，回應主持人時同意上看千億台。
看完今天的，讓明天的自己送上門
每天精選 6 則要聞、一則產業名人訪談，五分鐘跟上。
已出刊 144 期 ・ 隨時可退訂
