4 月 2 日，智能協(xié)作機(jī)械臂廠商越疆機(jī)器人發(fā)布了 AI 訓(xùn)練機(jī)器人 X-Trainer。

視頻顯示了 X-Trainer 采用模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)+ 視覺(jué)大語(yǔ)言模型，訓(xùn)練 2 小時(shí)，獲得了自主刷盤(pán)子的能力，相較普遍的訓(xùn)練時(shí)長(zhǎng)，節(jié)省了 70% 的訓(xùn)練時(shí)間。

從帶有紅色食物殘留物的盤(pán)子、放在黃色盤(pán)子上的海綿，以及后面掛著碟子的金屬架，推理出清洗盤(pán)子并收納到金屬架的任務(wù)。

擦拭三連，不放過(guò)一點(diǎn)殘留的污漬。

機(jī)器人刷完盤(pán)子準(zhǔn)備放進(jìn)盤(pán)架時(shí)，突然被人為干預(yù)再次弄臟盤(pán)子，但機(jī)器人迅速捕捉到這一變化，并立即做出反應(yīng)。

看似一個(gè)簡(jiǎn)單的刷盤(pán)子任務(wù)，機(jī)器人也有靈活的反應(yīng)！完整DEMO視頻如下面所示：

視頻發(fā)布后引起了網(wǎng)友的熱議，并期待機(jī)器人做家務(wù)的時(shí)代真的到來(lái)！

網(wǎng)友熱評(píng)

@YLshowT

@陸二的烤羊腿

@biubiu哈的視頻號(hào)

甚至有人調(diào)侃，如果人類(lèi)一直搗蛋，機(jī)器人會(huì)不會(huì)一直刷下去，會(huì)不會(huì)罷工！

實(shí)際上，X-Trainer 融合了智能機(jī)器人與 AI 最前沿技術(shù)，使得機(jī)器人能夠快速模仿學(xué)習(xí)人類(lèi)復(fù)雜動(dòng)作，最終實(shí)現(xiàn)行為克隆。

越疆科技聯(lián)合創(chuàng)始人郎需林表示，視頻中 X-Trainer 一系列的動(dòng)作來(lái)源于模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)端到端的控制，是訓(xùn)練后完全自主的運(yùn)行，機(jī)器人的平穩(wěn)性和速度有了顯著的提升。整個(gè)方案采用了視覺(jué)大語(yǔ)言模型和模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。

首先機(jī)器人攝像頭將頂部的圖像輸入視覺(jué)大語(yǔ)言模型，X-Trainer 可以完成：

01、工作場(chǎng)景的描述 [包括沾有食物殘?jiān)牡?，放在黃色盤(pán)子上的海綿，以及后面放置碟子的鐵架，組成的這樣一個(gè)廚房場(chǎng)景]

02、視覺(jué)大模型實(shí)現(xiàn)了對(duì)于任務(wù)的推理，[ 沾有食物殘?jiān)谋P(pán)子，放在黃色盤(pán)子上的海綿，以及后面放置碟子的金屬架 = 清洗盤(pán)子并收納到金屬架的任務(wù)]

關(guān)于雙臂的操作，所有動(dòng)作通過(guò)端到端神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)，25Hz 頻率接收頂部和手部的三個(gè)攝像頭圖像并完成推理，通過(guò)高性能的在線(xiàn)運(yùn)動(dòng)規(guī)劃接口生成 250Hz 的雙臂運(yùn)動(dòng)，（根據(jù)公開(kāi)信息，figure01 接收機(jī)載圖像網(wǎng)絡(luò)頻率為 10Hz），X-Trainer 25Hz 的端到端高性能運(yùn)動(dòng)接口，響應(yīng)速度提升了150% ，這使得機(jī)器人的運(yùn)行平穩(wěn)性得到了進(jìn)一步的提升。

2024 年 1 月， Figure 展示了 Figure 01 制作咖啡的一段視頻并表示機(jī)器人練習(xí)這些動(dòng)作的方法是端到端的方式，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練時(shí)間為 10 小時(shí)。X-Trainer 通過(guò)人類(lèi)示范學(xué)習(xí)，僅需 2 小時(shí)訓(xùn)練即可自主刷盤(pán)子，并對(duì)實(shí)時(shí)干擾快速糾正。

X-Trainer 的高速訓(xùn)練得益于 0.05mm 高精度雙臂，使 AI 訓(xùn)練機(jī)器人擁有工業(yè)級(jí)數(shù)據(jù)采集與動(dòng)作精度，大幅提升了完成任務(wù)的效率和質(zhì)量，獲得了用于快速訓(xùn)練的高質(zhì)量數(shù)據(jù)集，而該機(jī)械臂更是在 3C 制造、商用咖啡店、醫(yī)療艾灸等領(lǐng)域廣泛應(yīng)用的工業(yè)級(jí)機(jī)械臂，這使得訓(xùn)練后場(chǎng)景的落地?fù)碛辛吮Ｕ稀?/p>

最后郎需林表示，模仿學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，端到端圖像到動(dòng)作的映射，訓(xùn)練速度和質(zhì)量都在高速發(fā)展進(jìn)步，無(wú)論是特斯拉還是 Figure 都展示相關(guān)的技術(shù)成果，X-Trainer，X 代表無(wú)限的訓(xùn)練可能，該訓(xùn)練平臺(tái)的發(fā)布希望助力中國(guó)具身智能的發(fā)展，讓人工智能的產(chǎn)業(yè)落地?fù)碛幸粋€(gè)高性能的載體。

具身智能是指一種基于物理身體進(jìn)行感知和行動(dòng)的智能系統(tǒng)，其通過(guò)智能體與環(huán)境的交互獲取信息、理解問(wèn)題、做出決策并實(shí)現(xiàn)行動(dòng)，從而產(chǎn)生智能行為和適應(yīng)性，是 AI 實(shí)現(xiàn)物理世界交互的關(guān)鍵載體。

協(xié)作機(jī)器人是具身智能的重要硬件載體，從工業(yè)到商業(yè)，釋放更加巨大的市場(chǎng)空間。

越疆科技已在全球部署機(jī)器人超過(guò) 7 萬(wàn)臺(tái)，產(chǎn)品服務(wù)覆蓋 100 個(gè)國(guó)家和地區(qū)，服務(wù)于立訊精密、比亞迪、富士康、華為、豐田、大眾等數(shù)十家世界 500 強(qiáng)企業(yè)，連續(xù)五年出口量居首，擁有豐富的具身智能應(yīng)用和落地場(chǎng)景基礎(chǔ)。

越疆科技一直致力于 AI+ 機(jī)器人的技術(shù)突破和產(chǎn)業(yè)落地，被美國(guó) CB Insights評(píng)為全球 80 家最具投資價(jià)值的機(jī)器人企業(yè)之一，與全球眾多人工智能院校建立了合作關(guān)系，包括牛津大學(xué)、卡耐基梅隆大學(xué)、麻省理工大學(xué)、早稻田大學(xué)，牽頭承擔(dān)廣東省重點(diǎn)領(lǐng)域研發(fā)計(jì)劃人工智能專(zhuān)項(xiàng)“多自由度智能體復(fù)雜技能自主學(xué)習(xí)、關(guān)鍵部件與 3C 制造業(yè)示范應(yīng)用”。同時(shí)越疆作為國(guó)家級(jí)專(zhuān)精特新“小巨人”企業(yè)，于 2022 年?duì)款^承擔(dān)國(guó)家重點(diǎn)研發(fā)計(jì)劃智能機(jī)器人專(zhuān)項(xiàng)，累計(jì)申請(qǐng)知識(shí)產(chǎn)權(quán)超過(guò) 1200 項(xiàng)，被認(rèn)定為國(guó)家優(yōu)勢(shì)知識(shí)產(chǎn)權(quán)企業(yè)，在協(xié)作和人形機(jī)器人核心零部件、電子皮膚、遙操作、模仿學(xué)習(xí)等方向形成針對(duì)性的專(zhuān)利群布局。