AI 模型 Gemini 4 Argon 觀看影片學習 助機器人精準投擲
Google DeepMind 的機器人研究人員開發出一種創新方法,讓人工智慧模型 Gemini 4 Argon 能直接從人類的影片中學習物理技能,顯著加速機器人的訓練過程。這項被稱為「從影片到模擬再到實體(Video-to-Sim-to-Real)」的管道,讓機器人僅需數小時就能習得複雜技能,大幅縮短了傳統上需要數週手動模擬建模的時間。
該方法的關鍵在於 Gemini 4 Argon 具備 3D 空間感知能力與視覺語義推理能力。研究人員以一項投擲沙包(cornhole)的遊戲為例進行了示範:Gemini 4 Argon 首先觀看人類玩此遊戲的影片,追蹤手臂揮動與投擲動作,並將這些人類動作映射到機器人的關節與手上。接著,它利用機器人眼部攝影機測量遊戲板的精確 3D 位置,並建立起包含機器人身體與遊戲板的物理模擬環境。
Gemini 4 Argon 在模擬中練習投擲,調整姿勢與揮桿,確保手臂能順暢地畫出弧線。最後,在真實機器人上,它會觀察每次投擲的結果,並微調投擲釋放點的幾公分距離,最終成功指導 Apptronik’s Apollo 2 人形機器人連續七次將沙包精準投進洞中。Gemini 4 Argon 稱其學習過程包含四個步驟:觀看影片並追蹤動作;測量 3D 位置並建立物理模擬;在模擬中練習並調整姿勢;在真實機器人上調整釋放點。
Gemini 4 Argon 已於 10 月 13 日向全球開發者與企業開放。開發者可透過 AI Studio 和 Gemini 平台上的 API 存取其功能,Google AI Ultra 訂閱者可在 Google Antigravity 中使用,而 Google AI Ultra 和 Pro 訂閱者則可在 Gemini 應用程式和搜尋的 AI 模式中使用。其初期定價為每百萬輸入 Token 2 美元,每百萬輸出 Token 10 美元;快取輸入 Token 可享 95% 折扣。在初期優惠期結束後,價格將調整為每百萬輸入 Token 4 美元,每百萬輸出 Token 20 美元。
AI 模型如何透過影片學習並加速機器人訓練?
Google DeepMind 開發了一種名為「從影片到模擬再到實體」的管道,利用 AI 模型 Gemini 4 Argon 直接從人類影片中學習物理技能,顯著加速機器人訓練。該方法讓機器人僅需數小時即可學會複雜技能,大幅縮短傳統上需數週的手動模擬建模時間。Gemini 4 Argon 具備 3D 空間感知與視覺語義推理能力,能將人類動作映射到機器人關節,建立物理模擬環境進行練習,並在真實機器人上微調動作,最終成功指導 Apptronik’s Apollo 2 人形機器人精準投擲沙包。
Gemini 4 Argon 的學習過程包含哪四個步驟?
Gemini 4 Argon 的學習過程包含四個步驟:首先觀看影片並追蹤動作;接著測量 3D 位置並建立物理模擬;然後在模擬中練習並調整姿勢;最後在真實機器人上觀察結果並調整釋放點。
Gemini 4 Argon 模型何時開放給開發者使用?
Gemini 4 Argon 已於 10 月 13 日向全球開發者與企業開放。開發者可透過 AI Studio 和 Gemini 平台上的 API 存取其功能,特定訂閱者也可在 Google Antigravity、Gemini 應用程式和搜尋的 AI 模式中使用。