|
編者注：Google Jump是在Google I/O 2015上亮相的一款360°全景攝像裝置,，它是由鏡頭組、自動(dòng)整合和處理素材的軟件,、播放平臺(tái)3部分組成,。它可以使用戶實(shí)現(xiàn)360度全景拍攝。拍攝的原始視頻經(jīng)過JUMP應(yīng)用轉(zhuǎn)換后,，會(huì)生成非常逼真的3D虛擬現(xiàn)實(shí)視頻,。JUMP由谷歌和GoPro聯(lián)合開發(fā)完成。 被外媒稱之為“完整的虛擬現(xiàn)實(shí)錄制生態(tài)系統(tǒng)”,。 先看這個(gè)視頻,，了解下 I/O 大會(huì) VR 部分總覽： 讓我們仔細(xì)分析下其中最有趣的東西（至少我認(rèn)為！）：Jump 虛擬現(xiàn)實(shí)拍攝裝置,。我們來解析下這個(gè)玩意兒,，看和之前各種拼接的什么環(huán)視啊什么360°啊到底有什么不同。 首先,，Jump 是一個(gè) GoPro 陣列，外形上看和各種 VR 影像公司提供的東西沒什么不同,，不過是攝像頭數(shù)量的多寡而已,。Google 的產(chǎn)品副總監(jiān),、VR/AR 部負(fù)責(zé)人 Clay Bavor 稱這個(gè)東西通過自己去買到的些部件就能拼起來。Google 自己不賣這玩意兒,，但他們會(huì)放出 CAD 圖紙讓任何想搞的人去生產(chǎn)售賣,。如下圖所示： 而且，他們也依舊拿紙糊了一個(gè)（8000美金的攝像頭以及8塊錢的紙板）,。但在你雄心勃勃地想要自己去生產(chǎn)這個(gè)玩意兒開始創(chuàng)業(yè),，上市老總，成為妖股,，迎娶白富美,，走向人生巔峰之前，你要曉得 GoPro 是要打算從今年開夏賣這個(gè)東西的,。GoPro 賣這個(gè)了粗糧豈能坐視不管,？不過總之吧，如果你想要個(gè)性化顏色什么的還是可以自己去做吧,，塑料版淘寶上肯定馬上能有的啦,。不過要注意的就是這個(gè)結(jié)構(gòu)的松緊，因?yàn)閿z像頭的位置是非常重要的,。 一眼瞄過來,，這個(gè)圓形陣列并沒有朝上或朝下的攝像頭，如果按照 GoPro 4 Black 的規(guī)格,，這個(gè)陣列能捕捉水平360°的畫面,，但垂直只有120°。因此,，頂上腳下都會(huì)丟失60°的可視角度,。此外，Jump 乍一看像非立體的單眼攝像機(jī),，每個(gè)相機(jī)都對(duì)著不同方向,。多數(shù) 3D GoPro 相機(jī)有兩個(gè)攝像頭對(duì)準(zhǔn)某個(gè)方向，類似這樣：
而這一點(diǎn)就是 Google 這個(gè)解決方案的大牛之處：
工作原理是這樣的： 因?yàn)檐浖烂績蓚€(gè)攝像頭之間的相對(duì)距離、位置,，因此只要它能計(jì)算出兩個(gè)攝像頭之間的場景像素,，就能得到場景中某個(gè)點(diǎn)的深度。使用這些立體數(shù)據(jù),，你可以通過扭曲某個(gè)畫面來得到所謂的“立體垂直”視野：基本上,，每個(gè)攝像頭拍到的畫面都是正確的視差點(diǎn)（對(duì)于以前的那些針對(duì)雙目的立體拍攝設(shè)備，只有在雙眼的攝像頭之間的拍攝畫面才有正確的視角差,，也就是說越往邊上去,，立體感越差）。當(dāng)然,，這需要大量的計(jì)算,，不過誰讓 Google 自己電腦多呢。 當(dāng)你從某個(gè)攝像頭的畫面過度到另一個(gè)攝像頭的捕捉畫面時(shí),，視角會(huì)稍微偏一點(diǎn)點(diǎn),。為了連接畫面（或建立3D模型），你從鄰近的攝像頭離找到相匹配的區(qū)域,，比如你從 A 攝像頭找到一組像素,，然后在 B 攝像頭也去找同樣的一組（這個(gè)一組指的是同一個(gè)相關(guān)部位，比如同一片樹葉,，不同位置攝像頭拍出來的畫面會(huì)稍有不同）,，實(shí)際上你是能知道往哪找的（相鄰攝像機(jī)拍出來的圖像差別不會(huì)太大），比起那些未校準(zhǔn)的相機(jī)也會(huì)極大提升處理速度,。目前已存在的拼接軟件比如 Videostitch 或者 Kolor （早前被 GoPro 收購了）由于是通用軟件,，會(huì)對(duì)你的拍攝設(shè)備結(jié)構(gòu)做一些猜測，但如果是類似 Google 這種校準(zhǔn)過的攝像頭,，就只需要通過嚴(yán)密的數(shù)學(xué)算法解決,。 當(dāng)你找到匹配的區(qū)域，同時(shí)也知道在圖片上這些區(qū)域的距離差,，你就能計(jì)算出相機(jī)陣列和這個(gè)區(qū)域?qū)嵨镏g的距離,。如果物體,，比如說天空是在無限遠(yuǎn)，那么兩個(gè)相鄰相機(jī)照出來的圖片天空部位會(huì)非常接近,。當(dāng)物體離相機(jī)很近時(shí),，物體在畫面上會(huì)變大，同時(shí)兩個(gè)相鄰相機(jī)拍出來的圖像也會(huì)有較大距離偏差,。具體的偏差完全由物體離攝像陣列的距離決定，因此你可以得到非常精確的物體位置,。 更準(zhǔn)確一點(diǎn),，你是在右邊尋找這條對(duì)極幾何線。由于 GoPro 鏡頭扭曲得很厲害,，這條線實(shí)際上是彎的,。不過基于這種方式的高效算法也僅只有幾年時(shí)間而已。 當(dāng)有了 3D 模型后,，你甚至能得到一定的四處看,、頭部跟蹤的范圍。不過只有一小部分,，而且你沒有任何的垂直視角差,。圖像的點(diǎn)理論上都有正確的深度信息，但后面的背景信息你是沒有的,，在你垂直移動(dòng)時(shí)會(huì)出現(xiàn)問題,。（通過差值來填補(bǔ)像素并非完全不可能，但復(fù)雜度也會(huì)大很多,，而且目前來看也沒這個(gè)必要） 這么說起來,，好像前景分外光明一片大好啊，但現(xiàn)在問題來了,，計(jì)算機(jī)圖形并不是靈丹妙藥,。當(dāng)通過以上算法來計(jì)算差別時(shí)，我們默認(rèn)相鄰兩幅圖是相似的,，像素是能互相對(duì)應(yīng)的,。對(duì)于沒有鏡面反射的不光滑表面來說，OK沒有問題(技術(shù)用語是朗伯表面),，但只要有發(fā)光閃爍就會(huì)出現(xiàn)問題,。Google 視頻中的演示是靜態(tài)的，但對(duì)于自然界光線復(fù)雜時(shí),，對(duì)于算法的要求就高了,，可能會(huì)弄出各種奇怪的或是撕裂或是扭曲變形的圖像狀況。 另外一種明顯的會(huì)搞暈?zāi)闼惴ǖ臓顩r就是重復(fù)的圖形,，因?yàn)樗惴赡軙?huì)識(shí)別到錯(cuò)誤的區(qū)域（磚墻啦鎖鏈欄桿啦都是這類技巧的災(zāi)星,，當(dāng)然也有一些繞過去的技巧）,。此外透明的玻璃啦、沒有紋理的白墻之類的東西啦也不好搞,。還有無中生有的一些東西,，比如電話線中間的空間：電話線繞了一圈，背景是白墻,，那么對(duì)于算法來說咦這兩組像素好像啊,，肯定是一個(gè)物體。但其實(shí)什么也沒有,，只是電話線圈出來的虛空,。壓縮也會(huì)帶來高頻錯(cuò)誤：GoPro 是即時(shí)把數(shù)據(jù)壓成 H.264 的，而壓縮質(zhì)量也參差不齊,。什么樹葉,、鏡頭反射之類的就更別說了。 當(dāng)然,，畢竟 Google 從街景時(shí)代就一直在做方面的研究,，因此積累也很深了 - 而在演示中他們甚至放出了一些算法方面的解決途徑，Bavor 展示了算法追蹤場景得到的等高線輪廓圖： Google 有可能是通過這種方式來解決上面提到的一些問題的：當(dāng)兩個(gè)攝像頭拍攝到的圖片某部分不好吻合時(shí),，那么就從這部分周邊通過插值來得到深度數(shù)據(jù),。比如你得到一些完全錯(cuò)誤的數(shù)據(jù)，比如鏡頭的反射閃光或者假的匹配,，就忽略掉并直接采用插值數(shù)據(jù),。當(dāng)然這是一種柔化或者低通的處理方式，而且這幅曲線圖看起來也就是 Google 的算法直接生成的,，因?yàn)槿绻阕屑?xì)看會(huì)發(fā)現(xiàn)其結(jié)果并不完全匹配真實(shí)世界：線條在邊緣處過于光滑（看柱子頂部）,，而且一直連續(xù)，就好像一條被撐開的大橡皮筋套在整個(gè)場景里一樣（雖然聽起來離真實(shí)世界差距很大,，但你要知道我們對(duì)于深度的感知并不僅僅靠的是深度本身的精確性,，而避免立體錯(cuò)誤比起讓深度完全正確要必要得多）。如果這的確是 Google 算法算出來的場景部分,，其中一部分尤其彰顯了這個(gè)橡皮筋效果： 當(dāng)然無論怎樣都是會(huì)有差錯(cuò)的,。而且其實(shí)這些場景中都有一些去看就能看到的問題。比如說你去看著右邊中間前景里的一疊木制柱子,，當(dāng)視角橫向來回移動(dòng)時(shí)其反光和形狀都發(fā)生了重影,、斷裂。 也許這個(gè)例子看起來還不是什么大問題,，但目前這個(gè)系統(tǒng)我們還不知道那些往常的反射,、睡眠、重復(fù)圖案,、透明等問題如何解決,。當(dāng)然,，視頻中的演示確實(shí)不錯(cuò)，至少這個(gè)系統(tǒng)也會(huì)提高制作 VR 攝像裝備的門檻,，大概淘汰掉現(xiàn)在業(yè)界八成左右的人吧（當(dāng)然國內(nèi)不一樣,，反而會(huì)降低門檻，連個(gè) Cardboard 都能拿去上市）,。 但使用起來其實(shí)也不是那么輕松,，畢竟這么大。GoPro 會(huì)在夏季發(fā)布官方產(chǎn)品,，不過反正 Google 會(huì)放出圖紙,，希望同時(shí)開啟16個(gè)攝像頭的方式并不復(fù)雜。Bavor 說曝光會(huì)搭配得很好,，幀同步應(yīng)該也不是問題。但在幀同步這一方面,，我們不確定是意味著半幀時(shí)間內(nèi)的同步,，還是類似于專業(yè)3D攝像系統(tǒng)的毫秒乃至微秒級(jí)的同步。聽說 GoPro3 和 4 無法被硬同步到毫秒或者微秒級(jí),，也不知是真是假（GoPro 有這個(gè) 3D 系統(tǒng),，但無法選擇 Hero 3 或者 Hero 4）。從內(nèi)容制作者的角度來看,，這可能是個(gè)問題,；因?yàn)樵诎牒撩爰?jí)別的誤差下，高速運(yùn)動(dòng)的物體或者攝像頭都會(huì)導(dǎo)致最終拼接畫面的錯(cuò)誤,，同時(shí)攝像頭的時(shí)鐘可能是石英晶振器容易有漂移現(xiàn)象（千分之一的漂移意味著60fps下每20秒會(huì)丟失一幀）,。當(dāng)然，對(duì)精確度的要求取決于你想要拍攝的場景和對(duì)象,，但諷刺的是有可能 GoPro 將不再適合用來拍攝高速動(dòng)作片段了,。 而一脈相承的，GoPro 也有明顯的果凍效應(yīng)（Rolling Shutter）,，GoPro Black 的 4k 影片拍攝幀率為30,，那么你會(huì)看到30ms左右的果凍延遲。因?yàn)榕臄z是逐行掃描的,，掃描完一個(gè)畫面需要33ms的話在這個(gè)過程中物體或者攝像頭有移動(dòng),，就會(huì)產(chǎn)生比較明顯的形變。這種形變會(huì)如何影響到 Google 的算法,？目前不得而知,，只有等具體的產(chǎn)品出來了。 當(dāng)然,，提高幀率是能降低一些問題,，不過最終的可用性如何呢,？粗略計(jì)算這個(gè)攝像機(jī)組每小時(shí)的視頻容量將達(dá)430GB：在GoPro Black 里，你可以以 60Mbit 錄制 H.264 壓縮的視頻流,，也就是每秒每個(gè)攝像頭7.5mb,。所有16個(gè)攝像頭1個(gè)小時(shí)就是432GB?？礃幼幽愕挠脖P,、SD卡也得準(zhǔn)備一大堆啊，當(dāng)然有摩爾定律在幾年后可能我們也會(huì)跨入PB時(shí)代了吧,。 Bavor 提到這些攝像頭拍攝出的源文件基本上和“5個(gè)4k電視”那么大,。掐指一算，大概就是20k,，或者20480 x 2160,。當(dāng)然這是源文件，至于處理后的文件呢,？我們知道有大量數(shù)據(jù)是為了建模,，實(shí)際上是不需要的 - 如果我們把這些 GoPro 排成一排拍攝不去管它們的重疊部分，總共達(dá)到 1510°（94.4° x 16）,，而顯然我們只需要其中的360°,，大概是1/4的樣子，而剩下的3/4都是給算法用來消除誤差用的,。 無論如何,，對(duì)于 Jump，以及在大會(huì)上宣布的拍攝+Google 服務(wù)器云計(jì)算+YouTube 終端播放（目前已經(jīng)支持4k,，360°和60fps視頻,，360°3D將會(huì)在今年夏天和 Jump 一起發(fā)布），彰顯了 Google 把自己定位成在 VR 內(nèi)容領(lǐng)域的一個(gè)大玩家,。對(duì)于普通人來說,，VR 視頻是普及 VR 的最關(guān)鍵接口，Google 看樣子為自己找了個(gè)好位置,。 - 熱門文章閱讀 -
|
|
|
