|
https://www.toutiao.com/article/7254153059209986621/?log_from=06d3570b56be1_1689067257854 豐色 夢晨 發(fā)自 凹非寺 量子位 | 公眾號 QbitAI 李飛飛團(tuán)隊(duì)具身智能最新成果來了： 大模型接入機(jī)器人，把復(fù)雜指令轉(zhuǎn)化成具體行動(dòng)規(guī)劃,，無需額外數(shù)據(jù)和訓(xùn)練,。  從此，人類可以很隨意地用自然語言給機(jī)器人下達(dá)指令,，如：
 大語言模型+視覺語言模型就能從3D空間中分析出目標(biāo)和需要繞過的障礙,，幫助機(jī)器人做行動(dòng)規(guī)劃,。  然后重點(diǎn)來了， 真實(shí)世界中的機(jī)器人在未經(jīng)“培訓(xùn)”的情況下,，就能直接執(zhí)行這個(gè)任務(wù),。  新方法實(shí)現(xiàn)了零樣本的日常操作任務(wù)軌跡合成，也就是機(jī)器人從沒見過的任務(wù)也能一次執(zhí)行,，連給他做個(gè)示范都不需要,。 可操作的物體也是開放的，不用事先劃定范圍,，開瓶子,、按開關(guān)、拔充電線都能完成,。  目前項(xiàng)目主頁和論文都已上線,，代碼即將推出,，并且已經(jīng)引起學(xué)術(shù)界廣泛興趣。  一位前微軟研究員評價(jià)到：這項(xiàng)研究走在了人工智能系統(tǒng)最重要和最復(fù)雜的前沿,。  具體到機(jī)器人研究界也有同行表示：給運(yùn)動(dòng)規(guī)劃領(lǐng)域開辟了新世界,。  還有本來沒看到AI危險(xiǎn)性的人，因?yàn)檫@項(xiàng)AI結(jié)合機(jī)器人的研究而改變看法,。  機(jī)器人如何直接聽懂人話,？李飛飛團(tuán)隊(duì)將該系統(tǒng)命名為VoxPoser，如下圖所示,，它的原理非常簡單。  首先,，給定環(huán)境信息（用相機(jī)采集RGB-D圖像）和我們要執(zhí)行的自然語言指令,。 接著，LLM（大語言模型）根據(jù)這些內(nèi)容編寫代碼,，所生成代碼與VLM（視覺語言模型）進(jìn)行交互,，指導(dǎo)系統(tǒng)生成相應(yīng)的操作指示地圖，即3D Value Map,。  所謂3D Value Map,，它是Affordance Map和Constraint Map的總稱，既標(biāo)記了“在哪里行動(dòng)”,，也標(biāo)記了“如何行動(dòng)”,。 如此一來，再搬出動(dòng)作規(guī)劃器,，將生成的3D地圖作為其目標(biāo)函數(shù),，便能夠合成最終要執(zhí)行的操作軌跡了。 而從這個(gè)過程我們可以看到,，相比傳統(tǒng)方法需要進(jìn)行額外的預(yù)訓(xùn)練,，這個(gè)方法用大模型指導(dǎo)機(jī)器人如何與環(huán)境進(jìn)行交互，所以直接解決了機(jī)器人訓(xùn)練數(shù)據(jù)稀缺的問題,。 更進(jìn)一步,，正是由于這個(gè)特點(diǎn)，它也實(shí)現(xiàn)了零樣本能力,，只要掌握了以上基本流程,，就能hold任何給定任務(wù)。 在具體實(shí)現(xiàn)中,，作者將VoxPoser的思路轉(zhuǎn)化為一個(gè)優(yōu)化問題,，即下面這樣一個(gè)復(fù)雜的公式： 它考慮到了人類下達(dá)的指令可能范圍很大,，并且需要上下文理解,，于是將指令拆解成很多子任務(wù),，比如開頭第一個(gè)示例就由“抓住抽屜把手”和“拉開抽屜”組成。 VoxPoser要實(shí)現(xiàn)的就是優(yōu)化每一個(gè)子任務(wù),，獲得一系列機(jī)器人軌跡，最終最小化總的工作量和工作時(shí)間,。 而在用LLM和VLM將語言指令映射為3D地圖的過程中,，系統(tǒng)考慮到語言可以傳達(dá)豐富的語義空間，便利用“感興趣的實(shí)體(entity of interest)”來引導(dǎo)機(jī)器人進(jìn)行操作,，也就是通過3DValue Map中標(biāo)記的值來反應(yīng)哪個(gè)物體是對它具有“吸引力”的,，那些物體是具有“排斥性”。 還是以開頭的例子舉,，抽屜就是“吸引”的,，花瓶是“排斥”的。 當(dāng)然,，這些值如何生成,，就靠大語言模型的理解能力了。 而在最后的軌跡合成過程中,，由于語言模型的輸出在整個(gè)任務(wù)中保持不變,，所以我們可以通過緩存其輸出，并使用閉環(huán)視覺反饋重新評估生成的代碼,，從而在遇到干擾時(shí)快速進(jìn)行重新規(guī)劃,。 因此，VoxPoser有著很強(qiáng)的抗干擾能力,。 △將廢紙放進(jìn)藍(lán)色托盤以下分別是VoxPoser在真實(shí)和模擬環(huán)境中的表現(xiàn)（衡量指標(biāo)為平均成功率）： 可以看到,，無論是哪種環(huán)境哪種情況（有無干擾、指令是否可見）,，它都顯著高于基于原語的基線任務(wù),。 最后，作者還驚喜地發(fā)現(xiàn),，VoxPoser產(chǎn)生了4個(gè)“涌現(xiàn)能力”： （1）評估物理特性,，比如給定兩個(gè)質(zhì)量未知的方塊，讓機(jī)器人使用工具進(jìn)行物理實(shí)驗(yàn),，確定哪個(gè)塊更重,； （2）行為常識推理，比如在擺餐具的任務(wù)中,，告訴機(jī)器人“我是左撇子”,，它就能通過上下文理解其含義； （3）細(xì)粒度校正,，比如執(zhí)行“給茶壺蓋上蓋子”這種精度要求較高的任務(wù)時(shí),，我們可以向機(jī)器人發(fā)出“你偏離了1厘米”等精確指令來校正它的操作； （4）基于視覺的多步操作,，比如叫機(jī)器人將抽屜精準(zhǔn)地打開成一半,，由于沒有對象模型導(dǎo)致的信息不足可能讓機(jī)器人無法執(zhí)行這樣的任務(wù),，但VoxPoser可以根據(jù)視覺反饋提出多步操作策略，即首先完全打開抽屜同時(shí)記錄手柄位移,，然后將其推回至中點(diǎn)就可以滿足要求了,。 李飛飛：計(jì)算機(jī)視覺的3顆北極星大約一年前，李飛飛在美國文理學(xué)會(huì)會(huì)刊上撰文,，指出計(jì)算機(jī)視覺發(fā)展的三個(gè)方向：
李飛飛認(rèn)為,，具身智能不單指人形機(jī)器人，任何能在空間中移動(dòng)的有形智能機(jī)器都是人工智能的一種形式,。 正如ImageNet旨在表示廣泛且多樣化的現(xiàn)實(shí)世界圖像一樣,，具身智能研究也需要解決復(fù)雜多樣的人類任務(wù)，從疊衣服到探索新城市,。 遵循指令執(zhí)行這些任務(wù)需要視覺,，但需要的不僅僅是視覺，也需要視覺推理理解場景中的三維關(guān)系,。 最后機(jī)器還要做到理解場景中的人，包括人類意圖和社會(huì)關(guān)系,。比如看到一個(gè)人打開冰箱能判斷出他餓了,，或者看到一個(gè)小孩坐在大人腿上能判斷出他們是親子關(guān)系。 機(jī)器人結(jié)合大模型可能正是解決這些問題的一個(gè)途徑,。 除李飛飛外,，參與本次研究的還有清華姚班校友吳佳俊，博士畢業(yè)于MIT,，現(xiàn)為斯坦福大學(xué)助理教授,。 論文一作Wenlong Huang現(xiàn)為斯坦福博士生，在谷歌實(shí)習(xí)期間參與了PaLM-E研究,。 論文地址： — 完 —
|
|
|
