視頻介紹：Pixel 4 中基于 Soli 雷達(dá)的感知和交互

Pixel 4 和 Pixel 4 XL 已針對易用性進(jìn)行了優(yōu)化,，有助于實現(xiàn)這一目標(biāo)的關(guān)鍵功能是Motion Sense，它使用戶能夠無需觸摸設(shè)備即可以多種方式與他們的 Pixel 交互,。例如,，借助 Motion Sense，您可以使用特定手勢來更改音樂曲目或立即將來電靜音,。Motion Sense 還會檢測您何時靠近手機以及何時伸手去拿手機,，讓您的 Pixel 能夠通過預(yù)測您的動作（例如啟動相機以提供無縫面部解鎖）來提供更多幫助體驗，在您伸手關(guān)閉鬧鐘時禮貌地降低響鈴鬧鐘的音量,，或者在您不再靠近設(shè)備時關(guān)閉顯示屏以節(jié)省電量,。

Motion Sense 背后的技術(shù)是Soli，這是消費類智能手機中第一個集成的短距離雷達(dá)傳感器,，可促進(jìn)與手機的近距離交互,，無需接觸。下面,，我們將討論 Soli 的核心雷達(dá)傳感原理,、用于從雷達(dá)數(shù)據(jù)中識別人類活動的信號處理和機器學(xué)習(xí) (ML) 算法的設(shè)計，以及我們?nèi)绾谓鉀Q一些集成挑戰(zhàn)，以準(zhǔn)備將 Soli 用于消費設(shè)備,。

設(shè)計用于運動感知的 Soli 雷達(dá)系統(tǒng)

雷達(dá)的基本功能是根據(jù)遠(yuǎn)程物體與無線電波的相互作用來檢測和測量遠(yuǎn)程物體的特性,。一個經(jīng)典的雷達(dá)系統(tǒng)包括一個發(fā)射無線電波的發(fā)射器，然后無線電波被其路徑內(nèi)的物體散射或重定向,，一部分能量反射回來并被雷達(dá)接收器攔截,。基于接收到的波形,，雷達(dá)系統(tǒng)可以檢測物體的存在并估計這些物體的某些屬性,，例如距離和大小。近一個世紀(jì)以來,，

雷達(dá)作為一種探測和測距技術(shù)一直在積極發(fā)展. 傳統(tǒng)的雷達(dá)方法設(shè)計用于檢測大型、剛性,、遠(yuǎn)處的物體,，例如飛機和汽車,；因此,，它們?nèi)狈υ谙M類手持設(shè)備要求范圍內(nèi)感測復(fù)雜運動的靈敏度和分辨率,。因此,，為了實現(xiàn) Motion Sense，Soli 團(tuán)隊開發(fā)了一種新的小型雷達(dá)系統(tǒng),、新穎的傳感范式和算法，專門用于對人類交互進(jìn)行細(xì)粒度感知,。

經(jīng)典雷達(dá)設(shè)計依賴于相對于目標(biāo)尺寸的精細(xì)空間分辨率,，以解析不同的物體并區(qū)分其空間結(jié)構(gòu),。這種空間分辨率通常需要較寬的傳輸帶寬,、較窄的天線波束寬度,。和大型天線陣列。另一方面,，Soli 采用基于運動而非空間結(jié)構(gòu)的完全不同的傳感范式。由于這種新穎的范例,，我們能夠在 5 毫米 x 6.5 毫米 x 0.873 毫米的芯片封裝上安裝 Soli 用于 Pixel 4 的整個天線陣列,，從而允許將雷達(dá)集成到手機頂部,。例如,，與光學(xué)成像傳感器相比,，我們開發(fā)的算法特別不需要形成明確的目標(biāo)空間結(jié)構(gòu)圖像,。因此,，不會生成或用于 Motion Sense 存在或手勢檢測的人的身體或面部的可區(qū)分圖像,。

Soli 依靠處理接收信號的時間變化來檢測和解決細(xì)微的運動,。Soli 雷達(dá)發(fā)射 60 GHz頻率調(diào)制信號并接收附近物體或人的反射疊加。從一次傳輸?shù)较乱淮蝹鬏?，目?biāo)位置的亞毫米級位移會引起接收信號的可區(qū)分時間偏移,。在多次傳輸?shù)拇翱谏?，這些偏移表現(xiàn)為與物體速度成正比的多普勒頻率,。通過解析不同的多普勒頻率,，Soli 信號處理管道可以區(qū)分具有不同運動模式的物體。

下面的動畫演示了不同的動作如何在處理后的 Soli 信號中表現(xiàn)出不同的運動特征,。每個圖像的垂直軸代表距離傳感器的范圍或徑向距離,，從上到下增加,。橫軸代表朝向或遠(yuǎn)離傳感器的速度,，中心為零,，左側(cè)為接近目標(biāo)的負(fù)速度，右側(cè)為后退目標(biāo)對應(yīng)的正速度,。雷達(dá)接收到的能量被映射到這些距離-速度維度中，并由每個像素的強度表示,。因此,，與弱反射目標(biāo)相比，強反射目標(biāo)相對于周圍的本底噪聲往往更亮,。這些距離-速度映射中的能量分布和軌跡顯示出一個人走路時的明顯差異，

在左圖中,，當(dāng)人靠近設(shè)備時,，我們看到多個身體部位的反射出現(xiàn)在速度軸的負(fù)側(cè)，然后在人靠近設(shè)備時以零速度會聚在圖像頂部,。在描繪范圍的中間圖像中,，一只手從距離傳感器 20 厘米的靜止位置開始,，然后以負(fù)速度朝設(shè)備加速,，最后在到達(dá)設(shè)備時減速停止,。對應(yīng)于手的反射從圖像的中間移動到頂部,，對應(yīng)于在手勢過程中手離傳感器的距離減小。最后,，第三張圖片顯示了一只手在設(shè)備上滑動,，以負(fù)速度向速度軸左半部分的傳感器移動,，

每個可分辨反射的 3D 位置也可以通過處理在 Soli 的三個接收器中的每一個接收到的信號來估計；除了距離和速度之外,，還可以使用該位置信息來區(qū)分目標(biāo),。

我們?yōu)?Soli 設(shè)計的信號處理管道包括自定義濾波器和相干積分步驟的組合，可提高信噪比,、減弱不需要的干擾并將人的反射與噪聲和雜波區(qū)分開來,。這些信號處理功能使 Soli 能夠在消費類智能手機的限制范圍內(nèi)以低功耗運行。

為雷達(dá)設(shè)計機器學(xué)習(xí)算法

在使用 Soli 的信號處理管道對原始雷達(dá)信號進(jìn)行濾波和增強后,，將得到的信號轉(zhuǎn)換輸入 Soli 的 ML 模型進(jìn)行手勢分類,。這些模型已經(jīng)過訓(xùn)練，可以以低延遲準(zhǔn)確檢測和識別 Motion Sense 手勢,。

對任何運動傳感技術(shù)常見的空中手勢進(jìn)行穩(wěn)健分類有兩個主要的研究挑戰(zhàn),。首先，每個用戶都是獨一無二的,，甚至?xí)远喾N方式執(zhí)行簡單的動作,，例如滑動。第二個是,，在一天中,，傳感器范圍內(nèi)可能會有許多看起來與目標(biāo)手勢相似的無關(guān)運動,。此外,，當(dāng)手機移動時，從手機中的運動傳感器的角度來看,，整個世界看起來都在移動,。

解決這些挑戰(zhàn)需要設(shè)計定制的 ML 算法，該算法針對雷達(dá)信號的空中手勢的低延遲檢測進(jìn)行了優(yōu)化,。Soli 的 ML 模型由神經(jīng)網(wǎng)絡(luò)組成,，這些神經(jīng)網(wǎng)絡(luò)使用來自數(shù)千名 Google 志愿者記錄的數(shù)百萬個手勢進(jìn)行訓(xùn)練,。這些雷達(dá)錄音與其他谷歌志愿者數(shù)百小時的背景雷達(dá)錄音混合在一起，其中包含在設(shè)備附近進(jìn)行的一般動作,。Soli 的 ML 模型使用TensorFlow進(jìn)行訓(xùn)練并進(jìn)行了優(yōu)化,，可以直接在 Pixel 的低功耗數(shù)字信號處理器(DSP) 上運行。這使我們能夠以低功耗運行模型,，即使在主應(yīng)用處理器斷電時也是如此,。

將 Soli 從概念轉(zhuǎn)化為產(chǎn)品

Soli 之所以能夠集成到 Pixel 智能手機中，是因為端到端的雷達(dá)系統(tǒng)（包括硬件,、軟件和算法）經(jīng)過精心設(shè)計,，可以在消費類設(shè)備的尺寸和功率限制內(nèi)實現(xiàn)非接觸式交互。Soli 的微型硬件使完整的雷達(dá)系統(tǒng)能夠適應(yīng) Pixel 上邊框的有限空間,，這是團(tuán)隊的一項重大成就,。事實上，2014 年的第一個 Soli 原型是臺式計算機的大小,。我們將硬件創(chuàng)新與前面描述的新穎時間傳感范例相結(jié)合,，以將整個雷達(dá)系統(tǒng)縮小到單個 5.0 mm x 6.5 mm RFIC，包括包裝上的天線,。Soli 團(tuán)隊還推出了多項創(chuàng)新的硬件電源管理方案并優(yōu)化了 Soli 的計算周期,，使 Motion Sense 能夠適應(yīng)智能手機的功耗預(yù)算。

為了集成到 Pixel 中,，雷達(dá)系統(tǒng)團(tuán)隊與產(chǎn)品設(shè)計工程師密切合作,，以保持 Soli 信號質(zhì)量。手機內(nèi)的芯片放置和芯片上方的 z 層材料經(jīng)過優(yōu)化,，以最大限度地提高通過玻璃的信號傳輸,，并最大限度地減少來自周圍組件的反射和遮擋。該團(tuán)隊還發(fā)明了自定義信號處理技術(shù),，以實現(xiàn)與周圍電話組件的共存,。例如，開發(fā)了一種新型濾波器來減少音頻振動對雷達(dá)信號的影響,，從而在播放音樂時實現(xiàn)手勢檢測,。此類算法創(chuàng)新使 Motion Sense 功能能夠跨越各種常見用戶場景。

未來方向

Soli 成功集成到 Pixel 4 和 Pixel 4 XL 設(shè)備中,，首次證明了基于雷達(dá)的機器感知在日常移動消費設(shè)備中的可行性,。Pixel 設(shè)備中的 Motion Sense 顯示了 Soli 為顯式和隱式交互帶來無縫上下文感知和手勢識別的潛力。我們很高興繼續(xù)研究和開發(fā) Soli,，以實現(xiàn)新的基于雷達(dá)的傳感和感知能力,。