一,、技術(shù)背景與發(fā)展趨勢

在當(dāng)前的XR（虛擬現(xiàn)實(shí),、增強(qiáng)現(xiàn)實(shí)和混合現(xiàn)實(shí)）應(yīng)用中，物理形式的手柄控制器仍作為一種基礎(chǔ)的交互方式被廣泛使用,。然而,，物理手柄在高臨場感的沉浸式XR應(yīng)用場景下，需要用戶進(jìn)行適應(yīng)性學(xué)習(xí),，其存在操作復(fù)雜度高,、成本高等先天缺陷。

為增加XR交互的流暢性及沉浸感,，香港光云科技（HKSC）于近期推出一項(xiàng)凝聚其多年技術(shù)積累的創(chuàng)新性XR交互解決方案——TrueToF? Neural Gesture,。它基于Time of Flight（ToF）傳感器信號和深度學(xué)習(xí)來解析用戶的精細(xì)手部動(dòng)作，能夠在無需手持外設(shè)下實(shí)現(xiàn)精準(zhǔn)手勢控制,。

該方案充分發(fā)揮信號的優(yōu)勢,，具有高精度、低延遲等諸多技術(shù)優(yōu)勢,，為XR應(yīng)用提供一種更自然,、沉浸的交互體驗(yàn)，同時(shí)結(jié)合了香港光云科技（HKSC）最新的 3D語義理解技術(shù),，可以準(zhǔn)確識別用戶手勢信息所表達(dá)的行為意圖,，為各類應(yīng)用場景提供豐富的用戶動(dòng)作屬性標(biāo)簽。例如,，在教育領(lǐng)域,，學(xué)生可以通過手勢直觀地操控虛擬實(shí)驗(yàn)裝置；在娛樂領(lǐng)域,，游戲玩家能夠更自然地與虛擬角色互動(dòng),；在設(shè)計(jì)領(lǐng)域,，專業(yè)人士可以輕松地編輯,、調(diào)整3D模型等等。相較于傳統(tǒng)XR設(shè)備的手柄控制器,， TrueToF? Neural Gesture能夠?yàn)楦嘤脩魩韯?chuàng)新的XR體驗(yàn),，使用戶能夠更加輕松地探索和享受虛擬世界,，無需手持的的物理外設(shè)，同時(shí)降低設(shè)備成本,。

“Training data is Technology” OpenAI首席科學(xué)家及聯(lián)合創(chuàng)始人Ilye Sutskever闡明了精準(zhǔn)的訓(xùn)練數(shù)據(jù)在大模型訓(xùn)練中的重要性,。然而在3D空間對手部關(guān)節(jié)進(jìn)行精準(zhǔn)跟蹤，必然需要大量的3D信號數(shù)據(jù)及其信號空間真值標(biāo)注,。HKSC構(gòu)建了專業(yè)3D數(shù)據(jù)庫—TrueToF? 3D 手勢基礎(chǔ)Dataset,，包含高質(zhì)量的ToF 3D 信號的RAW數(shù)據(jù)以及高精度的3D標(biāo)注數(shù)據(jù)。其中,，3D手勢超過10,000種,，可供訓(xùn)練的案例超過100,000種，據(jù)此其開發(fā)了高精度3D手勢識別方法,。與傳統(tǒng)數(shù)據(jù)集相比,，TrueToF?手勢訓(xùn)練庫中的數(shù)據(jù)具有精準(zhǔn)的3D空間信息，尤其是深度Z軸上的真值數(shù)據(jù),。TrueToF? 3D Dataset的建立,，可以為AI學(xué)習(xí)提供更加準(zhǔn)確、可靠的數(shù)據(jù)標(biāo)注,，為3D手勢識別技術(shù)的發(fā)展提供有力的支撐,。

TrueToF? Neural Gesture數(shù)據(jù)庫部分手勢數(shù)據(jù)

二、TrueToF? Neural Gesture

TrueToF? Neural Gesture是一種基于TrueToF? Neural IP底層成像及3D語義技術(shù)的高精度3D手勢識別方案,。它夠在三維物理空間中實(shí)現(xiàn)用戶手部姿態(tài)的高精度追蹤,，增強(qiáng)現(xiàn)實(shí)及虛擬現(xiàn)實(shí)下的用戶交互體驗(yàn)。與傳統(tǒng)手勢識別技術(shù)及行業(yè)內(nèi)主流方案相比,，TrueToF? Neural Gesture具有以下技術(shù)優(yōu)勢：

· 高響應(yīng)：基于信號的直接處理

· 高精度：支持雙手21個(gè)關(guān)節(jié)點(diǎn)的<1mm精度跟蹤

· 3D準(zhǔn)度：精準(zhǔn)測量傳感器與手部各關(guān)鍵點(diǎn)之間的3D距離

· 角度精度：可擴(kuò)大手勢角度精度范圍2倍以上,，并提升角度分辨率至0.5°

· 穩(wěn)定性：在正常光照和低光環(huán)境下，手掌檢測的穩(wěn)定性更好

· 可靠性：在戶外環(huán)境和低光環(huán)境下檢測及跟蹤穩(wěn)定,，可適應(yīng)不同應(yīng)用場景

TrueToF? Neural Gesture在性能方面表現(xiàn)出色,，與業(yè)界公認(rèn)的Mediapipe等手勢識別方案的關(guān)鍵性能指標(biāo)上對比如下：

關(guān)鍵性能指標(biāo)對比

TrueToF? Neural Gesture現(xiàn)已支持多種手勢控制：

1. Gesture Pointer：該手勢類似傳統(tǒng)的激光指針方式，允許用戶用任一手指向并操控虛擬物體,。通過TrueToF?技術(shù)捕捉手部動(dòng)作,，用戶可以輕松地執(zhí)行這一操作。

2. Controller Pointer：該手勢允許用戶用雙手以虛擬方式體驗(yàn)傳統(tǒng)物理手柄控制器的操作,。TrueToF?技術(shù)可以識別用戶的雙手動(dòng)作,，并將其轉(zhuǎn)化為虛擬世界中的控制信號。

3. Poke Pointer：該手勢允許用戶用任一手指（缺省為食指）“戳”虛擬物體,，進(jìn)行精確的選擇和操作,。TrueToF?技術(shù)能準(zhǔn)確捕捉這類手勢，實(shí)現(xiàn)細(xì)致的交互。

4. Grab Pointer：該手勢允許用戶能夠用單手抓取和移動(dòng)虛擬物體,，模擬真實(shí)世界中的抓取行為,。TrueToF?技術(shù)捕獲手部動(dòng)作，并實(shí)現(xiàn)自然地抓取操作,。

通過上述交互式手勢響應(yīng),，TrueToF? Neural Gesture為用戶提供了豐富、自然的XR交互體驗(yàn),，將虛擬世界的操作與現(xiàn)實(shí)生活中的行為深度融合,。同時(shí)，該團(tuán)隊(duì)也在不斷擴(kuò)充新的手勢定義以及自定義手勢的接口,，以便用戶能以更多豐富且自然個(gè)性的方式,，與虛擬世界中的物體進(jìn)行沉浸式交互。

三,、TrueToF? Neural Gesture的特點(diǎn)

TrueToF? Neural Gesture能夠?yàn)橛脩魩硪环N自由,、高精度、低延時(shí)的交互體驗(yàn),，源于其技術(shù)的多方面優(yōu)勢：

1. 無束縛：TrueToF? Neural Gesture為AR設(shè)備提供物理手柄替代方案,，用戶可通過自然手勢控制數(shù)字環(huán)境，提高便捷性和實(shí)用性,。

2. 低功耗：基于Qualcomm平臺,，千次AI推理功耗僅為1.53 mWh，實(shí)現(xiàn)高性能手勢識別的同時(shí),，也可有效延長消費(fèi)電子產(chǎn)品的使用時(shí)間,。

3. 高精度：基于AI技術(shù)重構(gòu)的ToF成像流程，空間定位誤差<1mm,，保證XYZ三軸<1mm精確度,，可為終端應(yīng)用提供準(zhǔn)確交互數(shù)據(jù)支撐。

4. 3D可度量：TrueToF? Neural Gesture AI模型基于3D數(shù)據(jù)庫訓(xùn)練,，實(shí)現(xiàn)手部關(guān)節(jié)XYZ三軸0.5°旋轉(zhuǎn)精度度量,，適應(yīng)第一視角應(yīng)用場景，可克服傳感觀測視角約束,。

5. 低延時(shí)：采用Hexagon DSP優(yōu)化的<12ms的AI推理模型,，保障實(shí)時(shí)交互需求，可應(yīng)對高速動(dòng)作和復(fù)雜場景,。

四,、TrueToF? Neural Gesture Benchmark 

4.1 暗光測試：

暗光測試是在較暗環(huán)境中對手勢識別技術(shù)的性能進(jìn)行評估。傳統(tǒng)的RGB手勢識別方案的性能在這種環(huán)境下往往會受到較大影響,。得益于優(yōu)秀的TrueToF? Neural IP信號成像能力,，TrueToF? Neural Gesture技術(shù)在暗光環(huán)境下表現(xiàn)出較高的穩(wěn)定性,，對各類復(fù)雜室內(nèi)光線條件不敏感，這不僅有助于提高手勢識別精度,，還可增強(qiáng)對光線變化環(huán)境下使用的魯棒性,。

TrueToF? Neural Gesture的不同光照表現(xiàn)

4.2 室外評測：

室外場景的光線條件更加復(fù)雜多變,，包括強(qiáng)光,、陰影等多種不可控因素。TrueToF? Neural Gesture技術(shù)在室外評測中同樣表現(xiàn)出較高的穩(wěn)定性和魯棒性,，能夠保證戶外環(huán)境下的高精度的手勢識別需求,。

TrueToF? Neural Gesture室外場景表現(xiàn)

通過暗光測試與室外評測可以看出，TrueToF? Neural Gesture在不同光照條件下均表現(xiàn)出優(yōu)越性能,，表明其在各種非限定光照條件的應(yīng)用場景中能夠提供魯棒,、高效的手勢識別，可為用戶帶來優(yōu)質(zhì),、穩(wěn)定且流暢的交互體驗(yàn),。

五、應(yīng)用場景與未來展望

下一步,，TrueToF? Neural Gesture技術(shù)將不斷優(yōu)化和創(chuàng)新迭代,，努力提升手勢估計(jì)與識別的適配性及穩(wěn)定性，同時(shí)引入更多AI算法不斷提高手部關(guān)節(jié)識別的精度和語義識別,。HKSC相信3D語義等技術(shù)創(chuàng)新將持續(xù)為XR,、Metaverse、AIGC,、Autonomous driving等更多場景提供基礎(chǔ)應(yīng)用支撐,，TrueToF? Neural Gesture技術(shù)也將在更廣泛的數(shù)字信息領(lǐng)域發(fā)揮潛力，為用戶帶來更加智能,、便捷的生活體驗(yàn),。

關(guān)于香港光云科技（HKSC）

香港光云科技以“用光連接智能世界”為公司愿景，其創(chuàng)新技術(shù)TrueToF?曾獲得“高通2021 AI創(chuàng)新應(yīng)用大賽”第一名,。作為專業(yè)的ToF Neural IP供應(yīng)商,，現(xiàn)已被全球眾多ToF芯片公司認(rèn)證為專業(yè)合作伙伴。

HKSC致力于提供基于ToF Neural IP的授權(quán)與導(dǎo)入等系列服務(wù),，加速消費(fèi)級3D傳感產(chǎn)品開發(fā),，讓終端鏈能以更加快捷簡便方式接入AIGC應(yīng)用。