深圳新聞網(wǎng)2024年3月12日訊（記者 葉梅）3月12日，基于強化學(xué)習（Reinforcement Learning，RL），“逐際動(dòng)力雙足機器人P1”第一次來(lái)到位于深圳的郊野公園塘朗山，零樣本、無(wú)保護、全開(kāi)放進(jìn)行測試，開(kāi)箱即跑，在完全陌生的野外環(huán)境中，高動(dòng)態(tài)完成了在多種復雜地形上的移動(dòng)，表現出強化學(xué)習訓練后，優(yōu)異的控制力和穩定性。

逐際動(dòng)力雙足機器人P1基于強化學(xué)習完成野外森林徒步測試

逐際動(dòng)力在強化學(xué)習有著(zhù)長(cháng)期的積累，目前聚焦把強化學(xué)習的前沿技術(shù)轉化為系統化研發(fā)能力，支持產(chǎn)品功能開(kāi)發(fā)，并提出了自己的強化學(xué)習研發(fā)體系，主要包括Real2Sim2Real閉環(huán)、神經(jīng)網(wǎng)絡(luò )架構設計、數據生成機制與訓練算法設計等三大核心版塊，搭配不斷完善的流程管理和算法驗證，推動(dòng)人形機器人重要功能的開(kāi)發(fā)。

逐際動(dòng)力雙足機器人P1在狹窄的溝渠中高動(dòng)態(tài)穩定行走

P1是逐際動(dòng)力在中國率先推出的一款新穎的雙足機器人，也是逐際動(dòng)力強化學(xué)習系統化研發(fā)與模塊化測試的重要平臺，用于推進(jìn)雙足基礎運動(dòng)能力的研發(fā)和迭代。P1成功征服野外森林，正是逐際動(dòng)力強化學(xué)習系統化研發(fā)的成果，也是三大核心板塊能力的體現。

逐際動(dòng)力雙足機器人P1在猛烈擊打下表現出強大的抗干擾能力

Real2Sim2Real閉環(huán)，從Real2Sim到Sim2Real，打通數據到數據的自動(dòng)閉環(huán)，不管是采集物理世界數據生成仿真模型，還是把仿真后的策略部署到硬件上，從數據的生成、遷移到部署，逐際動(dòng)力的目標是實(shí)現全過(guò)程自動(dòng)化，最大限度降低人工干預，縮小仿真和現實(shí)之間的差距，提高訓練的效率和質(zhì)量。

神經(jīng)網(wǎng)絡(luò )架構設計，神經(jīng)網(wǎng)絡(luò )并不是一個(gè)黑盒，而是一個(gè)科學(xué)的系統化復雜結構，決定了強化學(xué)習能力的上限，其架構的設計體現了不同團隊的特點(diǎn)和實(shí)力。逐際動(dòng)力的神經(jīng)網(wǎng)絡(luò )由不同模塊組成，如何劃分模塊、如何定義每個(gè)模塊、每個(gè)模塊輸入輸出的界面是什么，這些設計至關(guān)重要。逐際動(dòng)力打造的神經(jīng)網(wǎng)絡(luò )架構能夠有效應對環(huán)境交互和硬件差異帶來(lái)的巨大干擾，生成具有自適應性的控制策略，實(shí)現同一個(gè)神經(jīng)網(wǎng)絡(luò )適用于不同的機器人和場(chǎng)景。

數據生成機制與訓練算法設計，在強化學(xué)習中，數據是訓練的關(guān)鍵，但不是數據規模越大，訓練效果就一定越好。逐際動(dòng)力把重點(diǎn)鎖定在解決有效數據稀缺的問(wèn)題上，提出迭代式預訓練（Iterative Pre-training）方法，把通用機器人的基礎運動(dòng)能力劃分為不同級別，進(jìn)行循序漸進(jìn)的預訓練，這個(gè)過(guò)程讓訓練的結果更可控，從而高效地產(chǎn)出和收集有效數據，訓練出高性能的策略（Policy）。

雙足機器人P1是逐際動(dòng)力強化學(xué)習系統化研發(fā)與模塊化測試的重要平臺

在這次測試中，我們看到野外和實(shí)驗室、城市的最大區別是，沒(méi)有一個(gè)臺階或者斜坡，甚至平地是一樣的；從山腳到山頂，沿途的地貌截然不同，水土流失導致地下巖石裸露，斜坡上長(cháng)滿(mǎn)纏繞的藤蔓，土層風(fēng)化變成泥沙覆蓋地面，就地取材搭成的溝渠奇形怪狀，這些都是P1從未經(jīng)歷過(guò)的場(chǎng)景，對于普通人來(lái)說(shuō)也不是輕而易舉就能克服。

在仿真訓練過(guò)程中，P1沒(méi)有被輸入過(guò)任何與森林、徒步相關(guān)的數據，與落地環(huán)境差異巨大，但依然能夠適應全新的環(huán)境，在變化莫測的森林中自如行走。這得益于逐際動(dòng)力系統化的強化學(xué)習訓練，保證研發(fā)成果在實(shí)際應用中可行、可用、可靠。

逐際動(dòng)力雙足機器人P1在野外森林進(jìn)行零樣本、無(wú)保護、全開(kāi)放測試

具身智能研發(fā)的四大要素包括硬件、算法、數據、算力，強化學(xué)習是算法中至關(guān)重要的技術(shù)棧，逐際動(dòng)力強調系統化的研發(fā)流程和能力， P1成為中國首個(gè)成功在野外徒步的雙足機器人，證明了這個(gè)技術(shù)路徑的先進(jìn)性。除了移動(dòng)控制（Locomotion），在操作（Manipulation）和移動(dòng)操作（Loco-manipulation）方面，逐際動(dòng)力在人形機器人上也在不斷攻關(guān)，接下來(lái)將有更多新的進(jìn)展和大家分享。

逐際動(dòng)力系統化的強化學(xué)習訓練，保證研發(fā)成果在實(shí)際應用中可行、可用、可靠

（圖片來(lái)源：逐際動(dòng)力）