攝像頭在智能汽車時代被譽為“汽車之眼”，如果沒有記錯的話是Mobileye開創(chuàng)了智能汽車基于AI底層的攝像頭的應(yīng)用,，而馬斯克的特斯拉徹底把他發(fā)揚光大了,，這下汽車產(chǎn)業(yè)一發(fā)不可收拾的開啟了基于AI的攝像頭的競賽。
智能汽車市場的攝像頭市場巨大,，那么智能汽車單車到底要用多少個呢,？他們分別用在哪方面呢,？智能汽車攝像頭技術(shù)和難點在哪里,？所以本文借用相關(guān)資料希望從以下幾個方面：
當(dāng)前L2++的智能駕駛攝像頭大概都在8-15個覆蓋整車的360度視覺,，以及觸及艙內(nèi)乘員監(jiān)控。根據(jù)yole的的數(shù)據(jù)表明：
- 到了L2++階段也就是現(xiàn)在攝像頭大概3-12個,。
所以Yole的數(shù)據(jù)比較真實，未來單車的攝像頭數(shù)據(jù)都是十幾個,。這個在手機消費電子行業(yè)任憑你浴霸甚至整個手機都放攝像頭也比不了,。那么智能汽車,，他的攝像頭都用在哪里?起到什么作用,？如上圖Yelo的圖片,，車載攝像頭大概會用在如下四個方面,，其實總結(jié)是三個方面：
智能駕駛環(huán)境感知 - 他包含兩個部分的攝像頭，一部分是環(huán)境感知攝像頭,，也就是之前文章講的絕大部分,；另外一部分是熱成像攝像頭用于夜視。
環(huán)境探測視覺呈現(xiàn) - 他包括三部分分別是 內(nèi)部后視鏡的替換,，360度視野,，一般360視野包含了倒車視野攝像頭，最后一個是行車記錄儀或者行車黑盒子,，他與智能駕駛環(huán)境感知的差異是,，環(huán)境感知是給機器看的，視覺呈現(xiàn)是給人看的，所以他們的技術(shù)特征不一樣,，下文會講到,。
駕駛艙監(jiān)控 - 他包括駕駛員監(jiān)控識別攝像頭和3D手勢識別攝像頭，也屬于輸入給機器的數(shù)據(jù),。人之所以看世界是五彩斑斕的，是因為人看到的全是來自外界物體的反射光,。攝像頭的基本原理是類似于眼鏡通過傳感器接收來自于物體反射的光線,。光線有人類看得見的可見光，也有人類看不見的NIR 近波紅外線,，SWIR短波紅外線,，而傳感器可以識別也就形成了各種夜視視像頭。當(dāng)前攝像頭傳感器主要有CMOS 和CCD, CCD 相對于 CMOS 的優(yōu)勢在于其高感光度,高像素,，高功耗為代價獲得更好的圖像質(zhì)量,，所以一般用在單反相機，而高功耗會導(dǎo)致熱量問題和更高的價格,，另外CMOS讀取速度快,，成本低所以當(dāng)前車載攝像頭都采用CMOS。另外還有夜視 (NV) 或高動態(tài)范圍 (HDR) 等對光高度敏感的專用芯片,。一般去選擇或者判斷攝像頭,，都會考慮攝像頭的參數(shù)和配置，上圖為Sony車載攝像頭的參數(shù),，應(yīng)該是蔚來汽車要采用的8Mp攝像頭參數(shù)配置,，上圖中參數(shù)拋開由鏡頭決定的視場角（FOV）和電源信息，車載傳感器一般會有這些指標(biāo):
- 像素（megaPixels）：像素可以決定看的多遠多大,，但對于 AI 那么處理器需要信息越多,。
- 幀數(shù)(fps)，每秒獲取畫幅,，這個汽車上體現(xiàn)的就是例如碰撞時間,。
- Dynamic range：測量了圖像傳感器在同一張照片中同時捕獲光明和黑暗物體的能力也即動態(tài)范圍越大，保留的高光區(qū)和陰影區(qū)信息越多,。
如特斯拉的前視 1.2 Mp 1280x964 30fps ,，就可以去解讀了，但在智能駕駛領(lǐng)域,。其實攝像頭還根據(jù)可以感知顏色來分類,，他主要是原因是CMOS 是一種光電傳感器只能感應(yīng)光的強度，不能區(qū)分光的波長（色彩）,，因此圖像傳感器需要通過色彩濾波（Color Filter）以獲取像素點的色彩信息,。色彩濾波陣列,，英文名 Color Filter Array 或 Color Filter Mosaic ，簡稱 CFA 或 CFM,，是像素傳感器上方的一層馬賽克覆層,，用于采集圖像的色彩信息。一般的光電傳感器只能感應(yīng)光的強度,，不能區(qū)分光的波長（色彩）,，因此圖像傳感器需要通過色彩濾波（Color Filter）以獲取像素點的色彩信息。生活中通常所用的攝像頭都是通過以下濾波（R = Red 紅色,；C= Clear 不濾光,；B=Blue ；G=Green 藍色）獲取顏色的,。每個像素只能感應(yīng)一種顏色的光,，但是我對外輸出的時候，需要知道這個像素的RGB值,，我就只能通過周圍像素去計算,，這個計算和轉(zhuǎn)換是靠ISP去完成的。從而得出我這個像素的RGB的值,，這樣我每個像素雖然只感應(yīng)了一種光,，但是每個像素經(jīng)過處理后傳輸?shù)酵饷婧缶褪怯蠷GB的信息了。當(dāng)前車載攝像頭CMOS 感知色彩有以下幾種：
- RGGB 也?？s寫成 RGB,RGB 是三原色,，世間萬物的色彩鼻祖，所以這種攝像頭是生活常用的,，也是視覺呈現(xiàn)常用的,。例如 360 環(huán)視,。
- RCCC 最大限度提高光靈敏度,，保留紅色例如紅綠燈和尾燈。RCCC 圖像看起來是單色的,，無法記錄彩色圖像,。三個透明濾光片為其提供最佳靈敏度，而紅色濾光片元件可識別來自剎車或交通信號燈的紅光,。所以當(dāng)前大部分 ADAS 前置攝像頭采用這個方案包括特斯拉 HW2.0,。
- RCCB 提高了光靈敏度和更少的噪點,帶有一個紅色濾光片、兩個透明濾光片和一個藍色濾光片（見圖 2c）,。但它分辨色彩的能力更好,，采集的圖像既可以用于機器分析，也可以用于人眼觀察,。所以當(dāng)前不少采用 RCCB 既保證光靈敏也保障了視覺屏幕輸出的需求,，例如特斯拉的 HW2.5 之后的攝像頭以及蔚來 ET5,ET7 采用的索尼攝像頭 IMX424。
根據(jù)Yole發(fā)布的信息，對于參數(shù)和環(huán)境感知的色彩都影響攝像頭的數(shù)據(jù)量,，從而影響數(shù)據(jù)的傳輸以及數(shù)據(jù)處理器的算力,。寫到這里發(fā)現(xiàn)一個很有意思的現(xiàn)象,，歐美朝著L4,L5自動駕駛進軍Robotaix的 Curise,， Waymo都采用RGB的攝像頭，我粗略的查詢了下中國Robtaix的文行知遠,，Didi都采用RGB的攝像頭（這個信息沒有確認(rèn),，如有知道的還請?zhí)接懀┧詫τ谖磥鞮4-L5的真正全自動駕駛他的感知應(yīng)該是通過RGB豐富感知環(huán)境再通過類似于激光雷達的傳感器融合實現(xiàn)。如果以上推測成立,，那么可以推測以下兩個結(jié)論：- 當(dāng)前特斯拉的自動駕駛天花板在感知傳感器攝像頭方面,，再牛逼的算法也無力回天畢竟你對環(huán)境感知缺少三原色中的一種。當(dāng)然有人透露 tesla 下一代攝像頭將采用 SONY 5mp 的 RGGB 攝像頭,。
- 蔚來汽車最新的 Aquila 攝像頭方案不經(jīng)濟而且精確比不了同樣采用激光雷達加 RGB 攝像頭,。
有大牛表示，目前國內(nèi)大部分新勢力都是“沿用”特斯拉的方案采用RCCC或者RCCB,，可能就是跟著跑,。當(dāng)然智能汽車也只是產(chǎn)業(yè)化的產(chǎn)物，所以在攝像頭甚至其他傳感器得應(yīng)用其實都在在檢測精度,、計算處理需求,、功率和成本限制、魯棒性和可靠性,，拓展延續(xù)性等實際參數(shù)之間選擇和調(diào)和,，所以他準(zhǔn)確得說是一門“藝術(shù)”而不是“科學(xué)”，所以他的難點是基于自身產(chǎn)品定位以及發(fā)展,，服務(wù)客戶也滿足發(fā)展等矛盾的調(diào)和和選擇最優(yōu)解,。而不是簡單的從參數(shù)和數(shù)量上去論英雄。1.Paving the way to self-driving cars with advanced driver assistance systems - TI2.ADAS High Bandwidth Imaging Implementation Strategies - TI3.Advanced Driver Assistance (ADAS) Solutions Guide - TI4.The Fundamentals of Camera and Image Sensor Technology - Jon Chouinard5.Computer Vision in Automated Parking Systems: Design, Implementation and Challenges - Markus Heimbergera , Jonathan Horganb , Ciaran Hughesb , John McDonaldb , Senthil Yogamanib,?6.Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather - Mario Bijelic1,3 Tobias Gruber1,3 Fahim Mannan2 Florian Kraus1,3 Werner Ritter1 Klaus Dietmayer3 Felix Heide2,4 1Mercedes-Benz AG 2Algolux 3Ulm University 4Princeton University7.Sensor and Sensor Fusion Technology in Autonomous Vehicles: A Review -De Jong Yeong 1,2,3,* , Gustavo Velasco-Hernandez 1,2,3 , John Barry 1,2,3 and Joseph Walsh 1,2,38.On the Performance of One-Stage and Two-Stage Object Detectors in Autonomous Vehicles Using Camera Data - Manuel Carranza-García * , Jesús Torres-Mateo , Pedro Lara-Benítez and Jorge García-Gutiérrez9.ADAS: Key Trends on 'Perception’ - Junko yoshida10.Challenges of full autonomy for sensing in autonomous vehicles - jeff hecht
12.CMOS圖像傳感器基礎(chǔ)知識和參數(shù)理解 - 成都子程電子轉(zhuǎn)載自Vehicle,，文中觀點僅供分享交流,，不代表本公眾號立場，如涉及版權(quán)等問題,，請您告知,，我們將及時處理。
|
