---

  新智元報道  

進入元宇宙,，只能靠頭顯嗎？

非也,。讓我們的想象力再放飛一點,。

巨頭谷歌給出了另一種方案：不用頭顯，用3D「電話亭」,！

如果你平時用慣了skype或者zoom,，第一次見到starline時，你一定會大吃一驚,。

谷歌在去年官宣了Project Starline項目,。它是一個視頻通話亭，使用3D圖像,、高分辨率相機,、定制的深度傳感器和突破性的光場顯示,。

這為屏幕兩邊的通話者創(chuàng)造了極其逼真的體驗,。

時隔一年，谷歌全息視頻聊天項目Project Starline將在今年晚些時候在合作伙伴辦公室安裝原型,，完成最初測試,。

Starline是谷歌在元宇宙中布下的兩枚棋子之一（另一枚是AR眼鏡Iris）。

這個項目,，谷歌已經(jīng)醞釀了五年多了,。

2021的I/O大會上，谷歌官宣了一個超高分辨率視頻聊天室Project Starline項目,。

以往,，skype或zoom之類的傳統(tǒng)視頻聊天軟件并不能克服感官上的距離感。和你聊天的人,，是以2D平面的形式出現(xiàn)在你對面,。而ta的聲音，也明顯是從手機,、平板或是電腦中傳出來的,。

這種「音畫分離」的體驗，并不真實,。

有沒有可能徹底消除這種「距離感」,？

谷歌提出了這樣一個問題，「可不可以把Zoom變成一個巨大的坐式街機,？」他們成功了,。

耗時五年,，谷歌研發(fā)出了一款黑科技——Starline3D視頻通話技術(shù)。

這一技術(shù)有兩大亮點：一個是真實,，另一個是無需佩戴任何設(shè)備,。

一個65寸的光場顯示屏，外加預(yù)先布置的十幾個傳感器和攝像頭,，就構(gòu)成了這樣一個聊天室,。

看起來，效果相當真實,。

這么真實的人物外貌,，是被攝像頭和傳感器拍下來，直接顯示在對方的顯示屏上的嗎,？

并不是,。每一個攝像頭和傳感器的作用，是通過不同角度捕捉人像,，利用深度學(xué)習(xí)進行實時壓縮,，把這些數(shù)據(jù)傳輸?shù)綄γ妫陲@示屏上重建成3D化身,。

也就是說,，在這個電話亭里，你看到的是對人像的「重建」,。

這種實時重建的人物影像,，讓彼此的感受變得無與倫比的真實。就好像和自己聊天的人,，真真切切地坐在自己對面一樣,。

這些采集到的數(shù)據(jù)的傳輸，和與普通的視頻會議一樣,，都是基于WebRTC,，而谷歌獨特的壓縮算法使得雙向?qū)崟r傳輸3D影像成為可能。

通過視頻聊天連接傳輸3D化身,，讓谷歌能夠解決眼神接觸的問題,。在普通的視頻聊天中，這一直是個麻煩,。在以往,，顯示器上面的網(wǎng)絡(luò)攝像頭使得人在看顯示器時不可能有眼神接觸，而3D化身可以彌補攝像頭中心和顯示器中心之間的脫節(jié),，使雙方有眼神接觸,。

谷歌正在一個強大的雙Xeon工作站中處理這些數(shù)據(jù)，這個工作站有四個英偉達GPU（兩個Quadro RTX 6000和兩個Titan RTX）,。

Starline的另一大特點是不需要佩戴任何設(shè)備,。

是的,，你沒聽錯，VR頭顯,、智能眼鏡,，通通不需要！

甚至,，在谷歌此前發(fā)布的概念圖上,，攝像頭和傳感器都放在一張桌子里。

稍加裝飾之后,，你甚至?xí)a(chǎn)生這樣一種錯覺：眼前是你的書桌,，而和你聊天的人就坐在書桌對面。

根據(jù)谷歌給出的技術(shù)圖,，這一套設(shè)備包括：一個包含顯示器,、攝像頭、揚聲器,、麥克風(fēng),、照明器和計算機的顯示單元，和包含紅外背光并用作bench seat的背光單元,。兩個單元都包含向墻壁和天花板傾斜的白色LED燈條,，用于產(chǎn)生柔和的反射照明。

顯示器是一個 65 英寸,、8 K,、60 Hz的自動立體透鏡面板，就是在它上面生成真人大小的裸眼3D視圖化身,。

而捕獲子系統(tǒng)由三個同步立體的RGBD捕獲pod組成：兩個在顯示器上方，一個在顯示器下方的「中墻」(middle wall)中,。

更下方的pod包括一個額外的彩色相機,，用于放大拍攝對象的臉部。另外,，四個單色追蹤攝像頭中的兩個在顯示器上方,，其余兩個一側(cè)一個，用于捕捉眼睛,、耳朵和嘴巴的高速廣角圖像,。

渲染的方式如下圖所示。

而pod就是上述提到的RGBD捕獲裝置,。

這樣渲染出的人物影響,，更加逼真，栩栩如生,。

Starline還配備了高級的聲音系統(tǒng),。

這套系統(tǒng)使用了talker-tracked波束成形,、混響消減、WebRTC傳輸,、talker/listener-tracked虛擬音頻合成,、雙耳串擾消除分頻組合、振幅平移,、空間化音頻和動態(tài)波束成形等技術(shù),。

有了這些技術(shù)的加持，就仿佛通話的兩個人在面對面說話一樣,。

去年,，谷歌工程師表示，這套設(shè)備在標準辦公網(wǎng)絡(luò)環(huán)境下就可以運行,?？磥鞸tarline技術(shù)是被寄望于廣泛推廣的。

當時,，谷歌并未披露有關(guān)價格的更多細節(jié),。

很難想象這個7*7英尺、大小如同一個浴室的六位數(shù)電話亭有多大市場,，但谷歌正在推進更多的測試,。

時至今日，這一項目進展如何,？

Google Cloud Next 2022上,，谷歌CEO桑達爾·皮查伊介紹了在全息視頻聊天項目（Project Starline）上取得的一些進展。

谷歌稱,，它將在選定的合作伙伴辦公室進行定期測試,，其中就包括Salesforce、WeWork,、T-Mobile和Hackensack Meridian Health,。

WeWork 和 Salesforce表示，他們有興趣嘗試這項技術(shù),，并認為這項技術(shù)可以讓人與人之間的聯(lián)系變得更有意義,。

到目前為止，Starline項目已經(jīng)在谷歌內(nèi)部進行了數(shù)千小時的測試,，并在其美國辦公室每天使用,。

谷歌在一份聲明里說：「今天，在美國各地的谷歌辦事處都可以找到Starline項目的原型,，員工每天都在使用該技術(shù)進行會議,。」

當這一項目推向?qū)崪y后,，便可以了解這種技術(shù)將如何在現(xiàn)實世界中使用,，以及它可能面臨什么樣的挑戰(zhàn),。

許多人認為其非常炫酷，但也有人質(zhì)疑Starline項目是否最終能夠成為職場人士日常生活一部分,。

面對廣闊的企業(yè)會議設(shè)備市場,，Starline確實有一些空間。但一些限制使得Starline難以用于嚴肅的會議,。企業(yè)會議設(shè)備通常適用于坐在桌旁的一大群人,，廣泛的兼容性使得任何人都可以使用幾乎任何硬件來發(fā)起會議。

然而Starline僅支持一個人進行一對一聊天,，恐怕只能用于打總統(tǒng)電話,？

近日，谷歌曾邀請一位記者對Starline進行體驗測試,。這位記者描述如下：

「整個過程感覺比Zoom通話要自然得多,。對方的動作和我們的談話都沒有明顯的延遲，所以說話就像在說話,。沒有任何奇怪的音頻或視覺延遲,。」

「我會相信我真的和某人在一起,，因為我正在與全尺寸的虛擬人進行真正的眼神交流,，而不是瞇著眼睛看著一個小小的Zoom窗口?！?/span>

Starline之所以如此令人信服的部分原因在于,，你不僅在看屏幕，而且在看屏幕前的一系列鏡頭,，或者說透鏡陣列,。這個原理類似于全息卡，當你來回搖晃它們時,，它可以顯示不同的圖像或3D效果,。而Starline會通過跟蹤你的眼睛，來了解將顯示給你的圖像指向何處,。

最后，這位記者總結(jié)道：「它對于一對一的對話很有用,，尤其是醫(yī)生辦公室或需要服務(wù)客戶的地方,。」

一直以來,，Starline項目在谷歌的長期地位一直不為人知,。

一年前，這一項目還進行了重組,，谷歌將其AR/VR技術(shù)和內(nèi)部研發(fā)團隊Area 120重新組建為「Labs」團隊,。

而在上個月,，谷歌還將Area 120人員數(shù)量削減了一半。

這表明,，在當前的經(jīng)濟環(huán)境下,，谷歌可能不會把這類試驗視為優(yōu)先事項。即便是一些谷歌內(nèi)部員工也不確定Project Starline是否還存在,。

即便是這樣,，Starline依然讓人振奮，是對另一種虛擬現(xiàn)實的押注,。

人們并不需要Avatar,，僅通過真實自我就可以實現(xiàn)在虛擬世界中的連接。

前幾天,，Meta還推出了自家最貴的高端頭顯Quest Pro,。

而谷歌沒有像Meta現(xiàn)在所做的那樣，開發(fā)利用攝像頭來實現(xiàn)眼睛和臉部運動追蹤的技術(shù),。

也沒有研究如何在虛擬現(xiàn)實中為你的身體「加個腿」,，而是致力于呈現(xiàn)一個真實的人。

最重要的是,，不用像個「抱臉蟲」一樣戴在臉上,，增加負擔。

與此同時,，隨著越來越多的企業(yè)試圖找到工作模式的混合未來,，而Starline正好可以彌補現(xiàn)如今2D視頻聊天的差距。

其實,，在AR頭顯上的布局，谷歌也不甘落后,。

今年年初,，兩位知情人士透露，谷歌已開始加緊研發(fā)AR頭顯,，內(nèi)部代號為Project Iris,，希望在2024 年上市。

并且谷歌希望在2024年之前與Iris一起發(fā)布Starline,。

最新Iris頭顯將采用谷歌最新處理器,，全自研的Tensor芯片，而且還支持在安卓系統(tǒng)上運行,。

至于全新的操作系統(tǒng),，也在谷歌未來研發(fā)計劃中。

這款A(yù)R設(shè)備使用外向攝像頭將計算圖形與現(xiàn)實世界融合，創(chuàng)造出比Snap和Magic Leap等現(xiàn)有AR眼鏡更身臨其境的混合現(xiàn)實體驗,。

由于電量的限制,，谷歌會使用其數(shù)據(jù)中心去遠程渲染一些圖形，并通過互聯(lián)網(wǎng)連接將它們傳送到AR眼鏡中,。

Project Iris項目,，可以說，是谷歌AR眼鏡研發(fā)的一個轉(zhuǎn)折點,。

早在2012年,，谷歌就發(fā)布了一款A(yù)R眼鏡的原型機。類似于一副滑雪護目鏡,，而且不需要與外部電源連接,。

隨著一波硬件和軟件的升級，2014年成功登陸美國市場,，售價1500美元,。然而，在2015年卻因為各種負面新聞被迫下架,。

緊接著,，2015年，谷歌在其I/O大會上發(fā)布了一款「VR眼鏡盒子」,。其裝置非常簡單,，主要由一塊硬紙板與兩塊特殊的塑料鏡片組成。

到了2017年,，谷歌決定將AR眼鏡的應(yīng)用轉(zhuǎn)向工業(yè),。

盡管急于追趕，但谷歌在打造新形式的AR硬件方面似乎落后于同行,。

此后,，谷歌在AR眼鏡的硬件研發(fā)上明顯保持沉默，并且選擇專注于研發(fā)Google Lens,、視覺搜索引擎和谷歌地圖中的AR方向相關(guān)的軟件功能,。

隨著2021年元宇宙概念大爆發(fā)，許多大廠紛紛在該賽道上展開布局,。

其實,，谷歌也在悄悄下自己的這盤棋。不論是AR頭顯Iris,，還是全息視頻通話項目Starline,。

小扎曾在采訪中說：「VR 的魔力在于，它可以立即讓你相信你在另一個地方,，并且和那里的人在一起。」他的構(gòu)想是全息圖,，而Starline也正好英雄所見略同了,。

現(xiàn)在，世界上最大的兩家科技公司正在努力改善虛擬形象,，雖然方法不同：Meta正全力以赴地提出元宇宙的概念,，而Google 正在努力接管企業(yè)。

對于大多數(shù)人來說,，聊天室和昂貴的混合現(xiàn)實顯示器既不實用也不理想,，但真正起飛的東西，可能會發(fā)生在兩者之間的某個地方,。