2024年12月27日，國(guó)家地方共建具身智能機(jī)器人創(chuàng)新中心與北京大學(xué)計(jì)算機(jī)學(xué)院聯(lián)合創(chuàng)建的具身智能數(shù)據(jù)集對(duì)外發(fā)布。有了這個(gè)數(shù)據(jù)集，像天工這樣的具身智能機(jī)器人就可在不斷的訓(xùn)練中變得更聰明。
伴隨著全球人工智能技術(shù)飛速進(jìn)步，具身智能產(chǎn)業(yè)迅猛發(fā)展，賦予機(jī)器人類人化的泛化能力是具身智能機(jī)器人技術(shù)的核心目標(biāo)之一，實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵在于如何使各類機(jī)器人本體在面對(duì)多樣化的環(huán)境和任務(wù)時(shí)，能夠展現(xiàn)出卓越的性能。
正如人工智能大模型需要海量文本數(shù)據(jù)來(lái)訓(xùn)練一樣，想要培養(yǎng)出一個(gè)能力全面的機(jī)器人，也需要大量?jī)?yōu)質(zhì)的訓(xùn)練數(shù)據(jù)，數(shù)據(jù)集是具身智能技術(shù)發(fā)展的重要基石。
“與視覺或語(yǔ)言數(shù)據(jù)的獲取相比，收集機(jī)器人訓(xùn)練數(shù)據(jù)更困難，需要在專門的環(huán)境中記錄機(jī)器人的每個(gè)關(guān)節(jié)動(dòng)作和末端執(zhí)行器的信息，這個(gè)過程不僅需要昂貴的硬件設(shè)備，還需投入大量人力來(lái)確保數(shù)據(jù)質(zhì)量。” 國(guó)地共建具身智能機(jī)器人創(chuàng)新中心相關(guān)負(fù)責(zé)人解釋，因而業(yè)內(nèi)目前最具通用性的機(jī)器人操作策略主要依賴于在有限多樣性條件下收集的數(shù)據(jù)。更加豐富多樣的大規(guī)模多構(gòu)型具身智能數(shù)據(jù)集和Benchmark（基準(zhǔn)測(cè)試，用來(lái)評(píng)估和比較不同具身智能操作模型性能的一系列標(biāo)準(zhǔn)化測(cè)試和評(píng)估標(biāo)準(zhǔn)）是極為稀缺的資源。
為了解決這個(gè)難題，國(guó)家地方共建具身智能機(jī)器人創(chuàng)新中心與北京大學(xué)計(jì)算機(jī)學(xué)院聯(lián)合推出了一個(gè)大規(guī)模多構(gòu)型智能機(jī)器人數(shù)據(jù)集和Benchmark——RoboMIND，捕捉機(jī)器人面對(duì)復(fù)雜環(huán)境、長(zhǎng)程任務(wù)時(shí)的各種交互和經(jīng)驗(yàn)，從而促進(jìn)能夠掌握不同操作策略的通用模型的訓(xùn)練。
RoboMIND是行業(yè)首個(gè)集中化標(biāo)準(zhǔn)采集的大規(guī)模、多構(gòu)型具身智能數(shù)據(jù)集。據(jù)介紹，RoboMIND包含5.5萬(wàn)條機(jī)器人軌跡數(shù)據(jù)，涉及279項(xiàng)不同的任務(wù)，涵蓋了高達(dá)61種不同的物體，覆蓋了家居、廚房、工廠、辦公、零售等大部分生活服務(wù)場(chǎng)景。
這就能讓機(jī)器人掌握更充分和全面的“習(xí)題冊(cè)”。比如，RoboMIND數(shù)據(jù)集的61種不同物品類別，可以讓機(jī)器人見識(shí)更多的“題型”。在廚房場(chǎng)景中，數(shù)據(jù)集不僅包含了草莓、雞蛋、香蕉和梨子等常見的食物，也包括了烤箱和面包機(jī)等復(fù)雜的可調(diào)節(jié)物體；在家庭場(chǎng)景中，數(shù)據(jù)集既包括了網(wǎng)球等剛性物體，也包括了玩具等可變形物體；辦公和工業(yè)場(chǎng)景則包含了電池和齒輪等需要精確控制的小物體。
“多樣化的物體種類不僅增加了數(shù)據(jù)集的復(fù)雜性，也有助于訓(xùn)練能夠在各種環(huán)境下執(zhí)行操作?！毕嚓P(guān)負(fù)責(zé)人解釋。此外，該數(shù)據(jù)集包含根據(jù)真實(shí)場(chǎng)景搭建的數(shù)字孿生場(chǎng)景，進(jìn)一步豐富和擴(kuò)充了此數(shù)據(jù)集的多樣性，同時(shí)提升數(shù)據(jù)采集效率。機(jī)器人構(gòu)型也包含單臂機(jī)器人、雙臂機(jī)器人、人形機(jī)器人，以及手臂末端使用夾爪或者靈巧手。
上述負(fù)責(zé)人說，為了評(píng)估數(shù)據(jù)集的質(zhì)量，研究團(tuán)隊(duì)在主流單任務(wù)模仿學(xué)習(xí)模型上和具身多模態(tài)大模型上進(jìn)行了廣泛的評(píng)測(cè)，發(fā)現(xiàn)RoboMIND數(shù)據(jù)集可以有效提升模仿學(xué)習(xí)模型在現(xiàn)實(shí)場(chǎng)景下任務(wù)的成功率，提升機(jī)器人操作模型在現(xiàn)實(shí)場(chǎng)景的任務(wù)執(zhí)行能力。
隨著數(shù)據(jù)集建設(shè)的不斷積累，該創(chuàng)新中心將持續(xù)迭代RoboMIND，涵蓋更多本體、任務(wù)、場(chǎng)景和評(píng)測(cè)方法，提供高質(zhì)量、標(biāo)準(zhǔn)化、廣泛多樣的數(shù)據(jù)基礎(chǔ)。
