在人工智能與機器人技術的交匯點上,一個名為Genesis的開源項目正悄然引領著具身智能的新風潮。該項目由卡內基梅隆大學(CMU)機器人研究所的博士生周銜領導,聯合了18個研究機構共同打造,旨在通過生成式物理引擎為機器人技術及其他領域提供全自動數據生成解決方案。
Genesis的核心團隊由12位青年華人學者組成,他們重新設計和構建了一個通用物理引擎,將各種物理求解器及其耦合集成到一個統一的框架中。這個框架通過更高層次的生成式智能體得到進一步增強,能夠自動生成機器人技術所需的大量數據。
與傳統模擬平臺相比,Genesis具備多個顯著優勢。它原生支持Python,包括前端界面和后端物理引擎,全部采用Python語法開發,底層則由GPU加速的DSL taichi提供支持。這使得安裝過程變得極為簡便,API設計也極其友好。Genesis的并行模擬速度空前,是世界上最快的物理引擎之一,模擬速度比現有的GPU加速機器人模擬器快出一個多數量級,且并未在模擬精度和保真度上做出妥協。
Genesis還支持各種最先進的物理求解器,能夠對大量材料和物理現象進行建模,并具備優化性能的逼真光線追蹤渲染。更重要的是,Genesis旨在與可微模擬完全兼容,目前已有部分求解器實現了可微性,其他求解器的可微性也將很快添加。
Genesis不僅能夠生成4D物理世界,如機器人操作和運動策略、開放世界鉸接式物體、角色運動等,還能通過語言提示生成各種模態的數據,包括交互式場景、任務提議、獎勵、資產、角色動作、策略、軌跡、相機運動以及物理精確的視頻等。這使得Genesis在機器人學習、強化學習等領域具有廣泛的應用前景。
然而,在Genesis受到廣泛關注和贊譽的同時,也面臨著一些質疑。有人對其精確度和速度表示懷疑。為此,Genesis團隊更新了一份詳細技術報告,測評了各種場景下和主流并行仿真器的速度對比,并開源了所有測試代碼以證明其優勢。
作為Genesis項目的領導者,周銜的學術背景和研究經歷頗為豐富。他本科就讀于新加坡南洋理工大學的機械工程系,以最高榮譽畢業后進入CMU讀博,成為導師Katerina Fragkiadaki組里首位研究機器人學習的PhD。在MIT-IBM Watson AI Lab實習期間,他與淦創等學者合作,開始了Genesis項目的研究。
周銜表示,他們最初只是想做一個仿真器,但受到ChatGPT等語言模型的啟發,他們意識到可以利用語言或視覺模型的推理能力來自動生成機器人學習的任務、環境、獎勵函數等,從而實現數據收集的規模化擴展。這一思路與后來谷歌和英偉達發布的類似項目不謀而合。
在談到Genesis的亮點時,周銜強調了易用性、速度與功能三個方面。他精心設計了整套可視化方式和簡潔的API接口,以降低用戶的學習和理解成本。同時,Genesis在速度上實現了顯著提升,為開發新的強化學習訓練方案提供了可能。在功能上,Genesis支持多種物理性質物體的求解和不同求解器間的交互,為機器人領域的研究者提供了強大的工具。
對于開源的熱情,周銜表示這源于他個人的強烈動機。他認為計算機圖形學領域的人才和技術對于機器人領域具有巨大的價值,但以往兩個領域之間存在巨大的割裂。因此,他希望通過打造一個完全透明、底層全開源、易于訪問、理解和貢獻的平臺來推動兩個領域的融合和發展。
在談到Genesis項目中遇到的最大困難時,周銜表示這主要來自于系統龐大且涉及諸多方面的開發,以及合作形式的松散和缺乏經費激勵。然而,他們還是堅持下來并完成了項目。在這個過程中,他們不僅學習到了如何設計、搭建和整合各個模塊,還深刻體會到了團隊合作和“為愛發電”的重要性。
對于Genesis發布后收到的質疑聲音,周銜表示他們一直在進行各種測試以證明其速度和精確度的優勢。他認為仿真和真機兩條路都要走,仿真能夠提供大量數據讓機器人建立與物理世界交互的基本認知,而真機則能夠提供更精準的數據來優化機器人的性能。因此,他們希望將Genesis打造成一個對機器人最友好的平臺,并借助開源社區的力量將其維護好。