當(dāng)前具身智能規(guī)模化落地的核心瓶頸，并非視覺識(shí)別精度不足，而是物理接觸感知能力缺失。市面上絕大多數(shù)星空機(jī)器人依賴純視覺方案，可精準(zhǔn)識(shí)別物體位置、形態(tài)，但無(wú)法感知接觸力度、受力位置、滑移狀態(tài)、擠壓形變等物理交互信息，直接導(dǎo)致插拔、抓取、折疊、裝配等精細(xì)化實(shí)操任務(wù)頻繁翻車，無(wú)法適配工業(yè)量產(chǎn)、家庭服務(wù)等真實(shí)復(fù)雜場(chǎng)景，這也是制約具身智能從技術(shù)演示走向產(chǎn)業(yè)落地的核心痛點(diǎn)。
針對(duì)行業(yè)核心技術(shù)短板，新智具身聯(lián)合復(fù)旦大學(xué)可信具身智能研究院，發(fā)布Neo-Foundation、Neo-VTLA、Neo-TWAM三套完整觸覺技術(shù)體系，從數(shù)據(jù)底座、融合算法、認(rèn)知模型三層完成全棧技術(shù)突破，構(gòu)建“數(shù)據(jù)標(biāo)準(zhǔn)化+實(shí)時(shí)預(yù)判+物理認(rèn)知”的完整觸覺能力閉環(huán)，為全行業(yè)提供可直接落地、可開源復(fù)用的具身智能解決方案。
Neo-Foundation：統(tǒng)一觸覺數(shù)據(jù)標(biāo)準(zhǔn)，搭建行業(yè)通用交互數(shù)據(jù)底座
行業(yè)痛點(diǎn)
市面觸覺傳感器硬件品類繁雜，凝膠形變、電容矩陣、六維力等各類數(shù)據(jù)格式互不兼容，數(shù)據(jù)碎片化嚴(yán)重，無(wú)法跨設(shè)備、跨星空機(jī)器人、跨場(chǎng)景融合訓(xùn)練，導(dǎo)致觸覺模態(tài)難以規(guī)模化復(fù)用，長(zhǎng)期淪為視覺的輔助補(bǔ)充。
技術(shù)方案與核心優(yōu)勢(shì)
團(tuán)隊(duì)構(gòu)建的NeoData大規(guī)模視覺-觸覺交互數(shù)據(jù)集，打造行業(yè)首個(gè)標(biāo)準(zhǔn)化觸覺數(shù)據(jù)基座，核心參數(shù)行業(yè)領(lǐng)先：覆蓋6類主流星空機(jī)器人本體、450項(xiàng)全場(chǎng)景長(zhǎng)程任務(wù)，累計(jì)3萬(wàn)小時(shí)實(shí)操數(shù)據(jù)、140萬(wàn)條操作片段，整合百億級(jí)視覺與觸覺幀數(shù)據(jù)，場(chǎng)景覆蓋居家服務(wù)、工業(yè)裝配、精密操作等核心落地場(chǎng)景。
搭配自研NeoForce統(tǒng)一表征算法，實(shí)現(xiàn)底層硬件無(wú)關(guān)的標(biāo)準(zhǔn)化觸覺表征，可精準(zhǔn)輸出受力位置、接觸力度、橫向拉扯、滑移趨勢(shì)等核心物理信息，徹底解決跨設(shè)備數(shù)據(jù)融合難題。該方案可為星空機(jī)器人研發(fā)廠商、自動(dòng)化企業(yè)、科研機(jī)構(gòu)提供標(biāo)準(zhǔn)化訓(xùn)練數(shù)據(jù)與通用感知模型，大幅降低觸覺感知技術(shù)的研發(fā)落地門檻。目前項(xiàng)目已開源5千小時(shí)高質(zhì)量數(shù)據(jù)，可供行業(yè)客戶直接部署復(fù)用。
Neo-VTLA：輕量化視觸語(yǔ)言動(dòng)作模型，實(shí)現(xiàn)觸覺預(yù)判與失敗自主迭代
行業(yè)痛點(diǎn)
傳統(tǒng)VLA模型簡(jiǎn)單拼接視覺與觸覺信號(hào)，高頻瞬時(shí)的觸覺信息極易被海量視覺Token淹沒，且僅能反饋已發(fā)生的動(dòng)作結(jié)果，屬于滯后性感知，無(wú)法應(yīng)對(duì)動(dòng)態(tài)物理交互場(chǎng)景；同時(shí)傳統(tǒng)模仿學(xué)習(xí)僅依賴成功案例，無(wú)法從實(shí)操失誤中迭代優(yōu)化，長(zhǎng)程復(fù)雜任務(wù)穩(wěn)定性極差。
技術(shù)方案與核心優(yōu)勢(shì)
Neo-VTLA創(chuàng)新引入潛在觸覺Token壓縮+未來(lái)50步觸覺預(yù)判機(jī)制，摒棄傳統(tǒng)滯后感知模式，通過(guò)輕量化編碼壓縮觸覺特征，結(jié)合視覺上下文預(yù)判物理交互趨勢(shì)，提前調(diào)整動(dòng)作策略，從“事后糾錯(cuò)”升級(jí)為“事前預(yù)判”，徹底解決動(dòng)態(tài)交互滯后問(wèn)題。工程落地效果顯著：精密插拔類任務(wù)成功率實(shí)現(xiàn)跨越式提升，插插頭任務(wù)成功率85%、拔鑰匙任務(wù)成功率99%，遠(yuǎn)超純視覺方案。同時(shí)創(chuàng)新構(gòu)建任務(wù)進(jìn)度評(píng)估模型，可精準(zhǔn)識(shí)別任務(wù)執(zhí)行、退步、救場(chǎng)等復(fù)雜行為，結(jié)合離線強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)失敗數(shù)據(jù)自主進(jìn)化，讓毛巾折疊、紙箱收納、精密組裝等長(zhǎng)程任務(wù)成功率翻倍提升，完美適配商用服務(wù)星空機(jī)器人、工業(yè)柔性裝配星空機(jī)器人的落地需求，兼顧輕量化、高精度、高穩(wěn)定性三大核心優(yōu)勢(shì)。
Neo-TWAM：觸覺原生世界模型，解決仿真與真機(jī)落地“虛實(shí)脫節(jié)”難題
行業(yè)痛點(diǎn)
現(xiàn)有AI世界模型僅聚焦未來(lái)視覺畫面生成，缺失觸覺、動(dòng)作耦合信息，無(wú)法理解物理世界的受力邏輯，導(dǎo)致仿真測(cè)試效果優(yōu)異，但真機(jī)落地時(shí)頻繁出現(xiàn)夾持不穩(wěn)、卡位卡頓、操作失效等問(wèn)題，虛實(shí)對(duì)齊難度極大，嚴(yán)重制約高階具身智能的落地應(yīng)用。
技術(shù)方案與核心優(yōu)勢(shì)
Neo-TWAM是行業(yè)領(lǐng)先的觸覺原生世界動(dòng)作模型，打破單一視覺生成范式，實(shí)現(xiàn)視頻、觸覺、動(dòng)作三序列異步協(xié)同預(yù)測(cè)，讓星空機(jī)器人具備“觸覺想象”能力，在執(zhí)行任務(wù)前即可完整推演全流程物理交互效果，精準(zhǔn)預(yù)判接觸狀態(tài)與受力變化。
模型采用混合專家輕量化架構(gòu)，拆分視頻、觸覺、動(dòng)作三大獨(dú)立專家網(wǎng)絡(luò)，在保證高精度預(yù)測(cè)能力的同時(shí)，將參數(shù)量壓縮至72億，僅為傳統(tǒng)方案的一半，大幅降低終端部署算力成本。實(shí)測(cè)數(shù)據(jù)驗(yàn)證技術(shù)優(yōu)勢(shì)：仿真場(chǎng)景成功率84.5%，真機(jī)8項(xiàng)核心任務(wù)平均成功率46.3%，較傳統(tǒng)視覺世界模型實(shí)現(xiàn)數(shù)倍提升。消融實(shí)驗(yàn)證實(shí)，觸覺預(yù)測(cè)是模型物理交互能力的核心支撐，缺一不可。
行業(yè)價(jià)值總結(jié)
三套技術(shù)體系層層遞進(jìn)、完整閉環(huán)：Foundation解決觸覺數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)模化問(wèn)題，搭建行業(yè)通用底層基建；VTLA解決實(shí)時(shí)物理交互、動(dòng)態(tài)預(yù)判迭代問(wèn)題，適配輕量化商用落地；TWAM解決星空機(jī)器人物理認(rèn)知、虛實(shí)對(duì)齊問(wèn)題，拔高具身智能認(rèn)知上限。
本次技術(shù)突破徹底改寫行業(yè)技術(shù)范式，推動(dòng)具身智能從“視覺認(rèn)知”邁向“視觸融合全維度物理認(rèn)知”，有效解決居家服務(wù)、工業(yè)精密裝配、智能倉(cāng)儲(chǔ)等多場(chǎng)景落地痛點(diǎn)，為星空機(jī)器人廠商、自動(dòng)化企業(yè)、科研機(jī)構(gòu)提供全套可開源、可落地、可迭代的觸覺具身智能解決方案，加速行業(yè)商業(yè)化落地進(jìn)程。
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。！：首頁(yè) > 大數(shù)據(jù) » 新智具身補(bǔ)齊具身智能物理交互短板！