|
光場顯示能在視覺上完全重現(xiàn)真實(shí)世界，但在顯示光場以前首先要采集光場,，否則將會(huì)是“巧婦難為無米之炊”,。傳統(tǒng)相機(jī)拍攝的2D圖片不能用于光場顯示[1]，因此需要專業(yè)的光場采集設(shè)備,。相關(guān)研究者已經(jīng)建立了一系列光場采集的理論[2],，并在光場采集技術(shù)的發(fā)展過程中出現(xiàn)了多種設(shè)計(jì)方案，受到廣泛關(guān)注和研究的主要有三種設(shè)計(jì)思路：（1）基于微透鏡陣列（Microlens Array）的光場采集,；（2）基于相機(jī)陣列（Camera Array）的光場采集[3],；（3）基于編碼掩膜（Coded Mask）[4]的光場采集。 一 基于微透鏡陣列的光場采集  基于微透鏡陣列的光場采集具有體積小，單次拍攝成像等優(yōu)點(diǎn),。但也存在兩個(gè)明顯的缺陷,，一方面是單視點(diǎn)的圖像分辨率損失嚴(yán)重[9]，例如使用4K（4096*2160）的圖像傳感器采集4x4視點(diǎn)的光場,，則圖像分辨率在水平方向和垂直方向都降低到原分辨率的四分之一,，既單個(gè)視點(diǎn)圖像分辨率只有1024*540。另一方面是采集光場的FOP角度較小,，也即視差較小,，只能在較小的角度范圍內(nèi)變換視點(diǎn)。  Raytrix [13]是德國一家創(chuàng)業(yè)公司,，同樣是基于微透鏡陣列的便攜式光場相機(jī)[14],。Lytro主要面向大眾普通用戶，而Raytrix不僅面向普通用戶還面向工業(yè)和科研應(yīng)用領(lǐng)域,，如圖3所示,。Raytrix擴(kuò)大了采集光場的深度范圍[15]并開發(fā)了一套自動(dòng)標(biāo)定算法用于標(biāo)定光場相機(jī)[16]。  Adobe Systems Inc. 的Todor Georgeiv在2006年研究了視點(diǎn)分辨率與角度分辨率之間的互相平衡關(guān)系[17],，在2008年提出了一種統(tǒng)一的光場相機(jī)仿射光路理論[18]并提高光場分辨率[19],，基于該理論框架構(gòu)造的光場相機(jī)如圖4所示。嚴(yán)格來說,，Todor Georgeiv提出的光場相機(jī)與上述Lytro和Raytrix的基于微透鏡陣列的光場相機(jī)并不完全相同。圖4中透鏡陣列更靠近相機(jī)主透鏡位置,，解耦合后的光線在成像傳感器上形成的圖像與Lytro或Raytrix并不相同,，因此從成像傳感器原始數(shù)據(jù)提取光場的算法也與Lytro和Raytrix不同。  二 基于相機(jī)陣列的光場采集  相比基于微透鏡陣列的光場相機(jī),，基于相機(jī)陣列的光場采集方案具有兩個(gè)明顯的優(yōu)勢：（1）采集光場的FOP角度較大,，也即視差較大，可以在較大的角度范圍內(nèi)變換視點(diǎn),。（2）圖像分辨率不損失,，因此單個(gè)視點(diǎn)的圖像分辨率一般都高于基于微透鏡陣列的光場相機(jī)。但基于相機(jī)陣列的光場采集方案也存在成本高昂,，體積較大的明顯缺陷,，例如圖6中Jason Yang于2002年在MIT搭建出全世界第一套近實(shí)時(shí)相機(jī)陣列[20]，由8x8共64個(gè)相機(jī)組成,，單個(gè)視點(diǎn)分辨率為320x240,，光場采集速率為18FPS，延遲為80毫秒,。  斯坦福大學(xué)Bennett Wilburn在2000年實(shí)現(xiàn)了數(shù)據(jù)編碼壓縮的光場視頻相機(jī)[21],，之后進(jìn)一步改進(jìn)光場相機(jī)系統(tǒng)，在2004年展示了稠密光場相機(jī)陣列[22],。Bennett Wilburn設(shè)計(jì)的稠密光場相機(jī)陣列包含52個(gè)30fps的COMS成像單元,，單個(gè)視點(diǎn)分辨率為640x480，如圖7所示,。  Bennett Wilburn在2005年進(jìn)一步增加相機(jī)數(shù)量到約100個(gè),，構(gòu)建了大規(guī)模光場相機(jī)陣列[23]，并搭建了三種不同類型的大規(guī)模光場相機(jī),，如圖8所示,，分別是（a）緊密排列的長焦鏡頭大規(guī)模相機(jī)陣列，主要用于實(shí)現(xiàn)高分辨率成像,。（b）緊密排列的廣角鏡頭大規(guī)模相機(jī)陣列,，主要用于實(shí)現(xiàn)高速視頻捕獲和混合合成孔徑成像,。（c）分散排布的大規(guī)模相機(jī)陣列。  由于硬件成本高昂,，體積較大等缺點(diǎn),，目前To C端的應(yīng)用中還沒有采用基于相機(jī)陣列的光場采集方案。曹煊在2015年提出稀疏相機(jī)陣列光場采集方案[24],，利用壓縮感知和稀疏編碼大大減少了相機(jī)數(shù)量,，降低了硬件成本，但仍然存在體積大的問題,。Pelican是美國硅谷的一家創(chuàng)業(yè)公司,，正在嘗試將相機(jī)陣列小型化。該公司在2013年實(shí)現(xiàn)了超薄高性能的相機(jī)陣列[25],，如圖9所示,。通過光學(xué)設(shè)計(jì)的優(yōu)化[26]和光場超分辨算法的應(yīng)用[27,28]，Pelican制造了小巧的相機(jī)陣列,，并形成一個(gè)獨(dú)立的光場相機(jī)模塊,。Pelican綜合了多種方法在保持相機(jī)陣列輕薄的前提下提升了所采集光場分辨率[29,30]。  三 基于編碼掩膜的光場采集  很多學(xué)者已經(jīng)嘗試?yán)镁幋a掩膜來實(shí)現(xiàn)計(jì)算成像,，例如國立臺(tái)灣大學(xué)的Chia-Kai Liang 在2008年采用可編程的光圈結(jié)合多次曝光成像實(shí)現(xiàn)了光場采集[31]。美國MIT大學(xué)在掩膜相機(jī)方面的研究非常深入,，MIT大學(xué)CSAIL的Anat Levin 于2007年采用編碼光圈實(shí)現(xiàn)了深度圖像的采集[32],，MIT Media Lab的Veeraraghavan Ashok 在2007年采用掩膜實(shí)現(xiàn)了可以重聚焦的相機(jī)[33]，后于2011年結(jié)合閃光燈和相機(jī)掩膜實(shí)現(xiàn)了對(duì)高頻周期變化的圖像進(jìn)行高速攝像[34],。MIT Media Lab的Kshitij Marwah于2013年提出了基于掩膜的壓縮光場采集[35],。 四 光場采集方案對(duì)比  基于相機(jī)陣列的光場采集相比基于微透鏡陣列的光場采集具有更多優(yōu)點(diǎn)：1）視點(diǎn)分辨率不損失，由單個(gè)相機(jī)成像傳感器決定,。2）光場的視差范圍更大,。但基于相機(jī)陣列的光場采集仍然面臨兩個(gè)問題：1）需要的相機(jī)數(shù)量較多，硬件成本高昂,，例如采集7x7視點(diǎn)的光場需要49個(gè)相機(jī),。2）相機(jī)同步控制復(fù)雜，數(shù)據(jù)量大,，存儲(chǔ)和傳輸成本高,。基于微透鏡陣列的光場采集具有體積小巧，硬件成本低等優(yōu)點(diǎn),。但其缺點(diǎn)也很明顯：1）光場視點(diǎn)圖像分辨率損失嚴(yán)重,，隨著視點(diǎn)數(shù)量的增加，單個(gè)視點(diǎn)分辨率急劇降低,。2）受到相機(jī)光圈的限制,，光場中可觀察的視差范圍較小。 [1] Van Berkel C. Image Preparation for 3D-LCD[C]//Stereoscopic Displays and Virtual Reality Systems VI,1999.[2] Chai J X, Tong X, Chan S C, et al. Plenoptic sampling[C]// Conference on Computer Graphics and Interactive Techniques. ACM Press/Addison-Wesley Publishing Co. 2000:307-318.[3] Levoy M. Light Fields and Computational Imaging[J]. Computer, 2006, 39(8):46-55.[4] Lanman D. Mask-based light field capture and display[C]// Ph.D. Dissertation, Brown University, 2011.[5] Lippmann G. Epreuves reversibles. Photographies integrals[J]. Comptes-Rendus Academie des Sciences, 1908, 146(3):446-451.[6] Roberts D E. History of Lenticular and Related Autostereoscopic Methods[J]. Leap Technologies Hillsboro, 2003.[7] Adelson E H, Wang J Y A. Single Lens Stereo with a Plenoptic Camera[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 1992, 14(2):99-106.[8] Levoy M, Ren N, Adams A, et al. Light field microscopy[J]. Acm Transactions on Graphics, 2006, 25(3):924-934.[9] Hoshino H, Okano F, Isono H, et al. Analysis of resolution limitation of integral photography[J]. Journal of the Optical Society of America A, 1998, 15(8):2059-2065.[10] Ren N, Levoy M, Bredif M, et al. Light Field Photography with a Hand-Held Plenopic Camera[J]. Tech. Rep. CSTR Stanford Computer Science. 2005.[11] R. Ng, “Digital light field photography”, PhD. Thesis, Stanford University, 2006.[12] https://illum./[13] www.raytrix.de[14] Raytrix, “Digital imaging system for synthesizing an image using data recorded with a plenoptic camera,” European Patent EP09005628.4 (April 2009).[15] Perwass C, Wietzke L. Single lens 3D-camera with extended depth-of-field[C]// IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics, 2012.[16] Heinze C, Spyropoulos S, Hussmann S, et al. Automated Robust Metric Calibration Algorithm for Multifocus Plenoptic Cameras[J]. IEEE Transactions on Instrumentation & Measurement, 2016, 65(5):1197-1205.[17] Georgeiv T, Zheng K C, Curless B, et al. Spatio-angular resolution tradeoffs in integral photography[C]// Eurographics Symposium on Rendering Techniques, Nicosia, Cyprus. DBLP, 2006:263-272.[18] Georgeiv T, Intwala C. Light Field Camera Design for Integral View Photography[J]. Adobe Technical Report, 2008.[19] Lumsdaine A, Georgiev, T, Full resolution lightfield rendering, Adobe Technical Report, 2008.[20] Yang J C, Everett M, Buehler C, et al. A real-time distributed light field camera[C]// Eurographics Workshop on Rendering. Eurographics Association, 2002:77-86.[21] Wilburn B S, Smulski M, Lee K, et al. The Light field video camera[J]. Proceedings of SPIE - The International Society for Optical Engineering, 2001, 2002:29--36.[22] Wilburn B, Joshi N, Vaish V, et al. High-Speed Videography Using a Dense Camera Array[C]// Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on. IEEE, 2004:II-294-II-301 Vol.2.[23] Wilburn B, Joshi N, Vaish V, et al. High performance imaging using large camera arrays[J]. Acm Transactions on Graphics, 2005, 24(3):765-776.[24] Cao X, Geng Z, Li T. Dictionary-based light field acquisition using sparse camera array[J]. Optics Express, 2014, 22(20):24081-24095.[25] Venkataraman K, Lelescu D, Duparr, et al. PiCam : an ultra-thin high performance monolithic camera array[J]. Acm Transactions on Graphics, 2013, 32(6):166.[26] Tanida J, Kumagai T, Yamada K, et al. Thin Observation Module by Bound Optics (TOMBO): Concept and Experimental Verification[J]. Applied Optics, 2001, 40(11):1806.[27] Baker S, Kanade T. Limits on Super-Resolution and How to Break Them[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2000, 24(9):1167-1183.[28] Bishop T E, Zanetti S, Favaro P. Light field superresolution[C]// IEEE International Conference on Computational Photography. IEEE, 2009:1-9.[29] Georgiev T, Chunev G, Lumsdaine A. Superresolution with the focused plenoptic camera[C]// IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics, 2011:78730X-78730X-13.[30] Wanner S, Goldluecke B. Spatial and Angular Variational Super-Resolution of 4D Light Fields[M]// Computer Vision – ECCV 2012. Springer Berlin Heidelberg, 608-621.[31] Liang C K, Lin T H, Wong B Y, et al. Programmable aperture photography: Multiplexed light field acquisition[J]. Acm Transactions on Graphics, 2008, 27(3):55.[32] Levin A, Fergus R, Durand F, et al. Image and depth from a conventional camera with a coded aperture[C]// ACM SIGGRAPH. ACM, 2007:70.[33] Veeraraghavan A, Raskar R, Agrawal A, et al. Dappled photography: mask enhanced cameras for heterodyned light fields and coded aperture refocusing[C]// SIGGRAPH. 2007:69.[34] Veeraraghavan A, Reddy D, Raskar R. Coded Strobing Photography: Compressive Sensing of High Speed Periodic Videos[J]. Pattern Analysis & Machine Intelligence IEEE Transactions on, 2011, 33(4):671-686.[35] Marwah K, Wetzstein G, Bando Y, et al. Compressive light field photography using overcomplete dictionaries and optimized projections[J]. Acm Transactions on Graphics, 2013, 32(4):1-12. |
|
|
