一般常見的圖像/視覺傳感器，以幀為單位記錄動態(tài)影像畫面。比如電影每秒記錄24幀畫面,，常見的視頻每秒記錄30/60幀畫面,。這些畫面連起來就構(gòu)成了人眼看起來連續(xù)的影像。一些相對高端的視頻記錄方案,，已經(jīng)能夠達(dá)到120fps甚至480fps的程度,。

不過從機器視覺的角度來看，影像畫面是要拿來計算的,。比如自動駕駛,、智慧工廠、智能建筑等領(lǐng)域應(yīng)用的機器視覺,。而傳統(tǒng)的記錄方案有兩個比較大的問題,。其一是即便是達(dá)到480fps這樣的高幀率視頻，幀與幀之間仍可能存在重要的未記錄信息,；其二,，對于畫面中始終處于靜止?fàn)顟B(tài)的對象而言，每一幀都可能重復(fù)地記錄了大量無意義信息——這對后端計算,、數(shù)據(jù)通訊,、存儲都帶來了更大的負(fù)擔(dān)。

Prophesee（普諾飛思）CEO兼聯(lián)合創(chuàng)始人Luca Verre

2014年,，一家叫做Prophesee（普諾飛思）的公司在巴黎成立,。這家公司在做一種“基于事件”的神經(jīng)形態(tài)視覺傳感器。這種神經(jīng)形態(tài)視覺技術(shù)與普通的視覺感知方案存在相當(dāng)大的差別,。Prophesee CEO兼聯(lián)合創(chuàng)始人Luca Verre在接受電子工程專輯采訪時介紹說,，這種模擬人眼視覺的神經(jīng)形態(tài)視覺傳感器，能夠規(guī)避傳統(tǒng)方案的這兩個問題,。

這種“基于事件的視覺技術(shù)”現(xiàn)在看來,，將來在計算視覺領(lǐng)域會畫上濃墨重彩的一筆。

什么是基于事件的視覺傳感器

大約30年前,，加州理工學(xué)院Carver Mead教授就提出了“神經(jīng)形態(tài)”這個概念,。Prophesee主要在做的就是模擬人眼視覺的“神經(jīng)形態(tài)視覺技術(shù)（neuralmorphic vision technology）”。Luca Verre表示,，直到最近幾年,，這種技術(shù)才逐漸成熟。

Luca Verre形容,，Prophesee開發(fā)的視覺傳感器又叫“硅視網(wǎng)膜（silicon retinas）”,。之所以說模擬人眼視覺，如Prophesee在發(fā)布的一份白皮書中提到：人眼中的感光細(xì)胞僅在檢測到視覺場景中某些特性（如對比度,、亮度）的變化時才反饋給大腦,。在進(jìn)化過程里,，相較于反復(fù)在意場景中的所有細(xì)節(jié)，專注于其他掠食者的行動更為重要,。研究表明,，人類能夠從每秒1000次變化率的場景中捕獲有價值的信息，這是遠(yuǎn)高于如今動態(tài)影像的幀率的,。

“我們重新設(shè)計像素,，就像視網(wǎng)膜的感光細(xì)胞，是獨立且異步的,?！盠uca說，“和人眼視覺原理類似,，Prohesee開發(fā)的傳感器只有在感知到場景變化時才會進(jìn)行記錄,，不同于傳統(tǒng)圖像傳感器以固定的時序源（幀時鐘）記錄圖像信息?！?/span>

圖1,，傳統(tǒng)視覺方案與基于視覺的視覺方案對比

即僅在場景發(fā)生變化時，這種基于事件的視覺傳感器上的像素才做出反應(yīng),，場景中靜態(tài)的部分都不會被捕捉,。這應(yīng)該就是“基于事件”這個詞的由來。與此同時,，Prophesee在技術(shù)介紹中提到：“圖像信息不是逐幀發(fā)送,，而是通過連續(xù)的信息流捕獲事件信息，并且?guī)c幀之間沒有任何重要信息遺漏,?！保▓D1）

Luca告訴我們，基于事件的傳感器,，其中的“'事件’是指,，一個像素激活自身并發(fā)送事件檢測到發(fā)生的X、Y坐標(biāo)和時間戳,?！边@種基于事件的視覺感知這樣的設(shè)計，“有三個優(yōu)勢：產(chǎn)生數(shù)據(jù)量更少,；反應(yīng)速度更快,；以及實現(xiàn)更高的動態(tài)范圍（>120dB）”。這其中的任意一項對于當(dāng)代機器視覺而言都是相當(dāng)有價值的,，尤其在減少數(shù)據(jù)量的問題上,，對于有限的通信、存儲與計算資源顯得相當(dāng)友好,。

最終落地到自動駕駛汽車,、人工智能、工業(yè)自動化,、IoT,、醫(yī)療等領(lǐng)域，這項技術(shù)都會成為機器視覺的重要組成部分,。

始于80年代的神經(jīng)形態(tài)視覺技術(shù)

如Luca所說,，神經(jīng)形態(tài)視覺技術(shù)是直到最近這些年才逐漸成熟的。早年這項技術(shù)之所以始終未能投入應(yīng)用,，是因為“許多受生物啟發(fā)的視覺設(shè)備的早期發(fā)明者和開發(fā)者都來自神經(jīng)生物學(xué)界,，他們主要將其芯片視為證明神經(jīng)生物學(xué)模型和理論的一種手段，而并未將這些設(shè)備與實際應(yīng)用聯(lián)系起來,?！?/span>

“許多概念上有趣的像素設(shè)計都缺乏技術(shù)相關(guān)性，例如由于電路復(fù)雜,、硅面積大,、填充系數(shù)低或噪點高，妨礙了實際應(yīng)用,。此外,，許多早期設(shè)計都存在VLSI實現(xiàn)和制造的技術(shù)缺陷，例如晶體管不匹配,，并且沒有生產(chǎn)出實際可用的器件,。”Luca說,，“直到最近,，越來越多努力投入到基于生物學(xué)原理的實用的及工業(yè)化的視覺傳感器的開發(fā)中?！?/span>

Prophesee首席技術(shù)官Christophe Posch也向我們總結(jié)了,，當(dāng)前針對工業(yè)應(yīng)用逐漸成熟的基于事件的傳感器，已經(jīng)解決的主要問題,。其中部分問題也能夠表現(xiàn)出基于事件的視覺技術(shù),，相比傳統(tǒng)方案的優(yōu)勢。它們主要包括：

（1）傳感器大小,，當(dāng)代技術(shù)已經(jīng)能夠縮小其尺寸,；而且與SoA光學(xué)器件、相機模塊尺寸,、外形尺寸兼容,；

（2）數(shù)據(jù)讀取，提高了處理量：像素陣列尺寸的可擴展性,，最大可達(dá)到百萬像素級別,；用于高速/低延遲應(yīng)用程序,，提高數(shù)據(jù)時間精度；

（3）實現(xiàn)片上事件數(shù)據(jù)準(zhǔn)備/預(yù)處理,，包括數(shù)據(jù)處理,、系統(tǒng)整合、應(yīng)用/算法性能,；

（4）提高動態(tài)范圍/弱光能力,，因此開拓了新的應(yīng)用領(lǐng)域；

（5）降低功耗,，令其可應(yīng)用于低功耗場景,；

（6）單像素尺寸得以縮小——這應(yīng)該是如今基于事件的視覺傳感器最重要的一個進(jìn)步；

（7）軟件,，新型的數(shù)據(jù)輸入需要配套軟件工作做處理,，Prophesee去年推出基于事件的視覺軟件套件（Metavision）就是比較典型的例子，其中包括62種算法,、54個代碼示例和11個現(xiàn)成的應(yīng)用程序,。

以其中的第6、7兩點為例：其中單像素尺寸縮小,，在基于事件的視覺傳感器上也是這些年的重要技術(shù)成果,。Luca在采訪中告訴我們，這類新型傳感器的像素結(jié)構(gòu)和一般圖像/視覺傳感器是不同的,，每個像素都獨立且異步,，每個像素都嵌入模擬和數(shù)字電路（約100個晶體管）。所以像素尺寸天然就比傳統(tǒng)方案要大,。圖2,，Prophesee第三代與第四代傳感器產(chǎn)品的像素尺寸比較

“從早期的128x128像素設(shè)計到QVGA，再到HVGA以及VGA,，像素尺寸始終限制著傳感器的分辨率,。借助Cu-Cu互連的更先進(jìn)的3D堆疊工藝，我們能夠大幅減小像素尺寸并最大程度地借助填充因子,，首次達(dá)到了高清分辨率,。其尺寸小到足以嵌入到移動設(shè)備中，擴大了產(chǎn)品的應(yīng)用范圍,?！?/span>

這里所說的“首次達(dá)到高清分辨率”的應(yīng)該是指Prophesee與索尼合作推出的視覺傳感器，其分辨率達(dá)到了720p,。這是Prophesee的第四代產(chǎn)品,，在制造方面，這顆傳感器用到了索尼BSI（背照式）與3D堆疊工藝——這兩項技術(shù)此前就是索尼制造傳統(tǒng)圖像傳感器的殺手锏,，在此也令基于事件的神經(jīng)形態(tài)視覺傳感器像素更小了,。（圖2）

上述第7點,，軟件層面實際上也是當(dāng)代芯片架構(gòu)創(chuàng)新企業(yè)都面臨的問題。所以Prophesee除了在傳感器產(chǎn)品上花比較大的投入,，針對模擬人類大腦的計算機視覺AI算法及軟件也投入不小,。一個典型的例子是,，4月初Prophesee才剛剛發(fā)布基于事件視覺的開源軟件庫OpenEB及開發(fā)工具,，作為Metavision套件的一部分，針對基于事件的應(yīng)用（包括光流和物體檢測）,，優(yōu)化機器學(xué)習(xí)訓(xùn)練和推理,。

應(yīng)用落地與進(jìn)駐中國

前文提到Prophesee與索尼合作的第四代傳感器產(chǎn)品，是Prophesee最新的產(chǎn)品,，“現(xiàn)在正與不少客戶做測試,，主要是針對工業(yè)應(yīng)用和而物聯(lián)網(wǎng)應(yīng)用。預(yù)計今年年底能夠大規(guī)模量產(chǎn),?！盠uca說。

Prophesee現(xiàn)已投入使用的傳感器還包括：第一代產(chǎn)品為盲人部分視力恢復(fù),，法國一家生物電子公司Pixium Vision已經(jīng)將這款傳感器應(yīng)用到了醫(yī)療設(shè)備中,。此外，第三代產(chǎn)品也已經(jīng)量產(chǎn),，主要用于工業(yè)應(yīng)用,，“尤其在高速機器視覺領(lǐng)域，比如高速計數(shù),、激光焊接監(jiān)控,、震動測量等行業(yè)應(yīng)用?！盠uca說,，“比如日本的Century Arks、德國的Imago已經(jīng)將第三代傳感器集成到了工業(yè)級相機系統(tǒng)中,，用于工業(yè)自動化應(yīng)用,。而且這一代產(chǎn)品，我們已經(jīng)開始盈利了,?！?/span>

在機器視覺領(lǐng)域，由于對通訊,、計算,、存儲的資源需求都顯著更低，替代傳統(tǒng)視覺或圖像傳感方案顯得順理成章,。Luca也談到,，“我相信在機器視覺領(lǐng)域,，Prophesee的技術(shù)是可以替代傳統(tǒng)基于幀的技術(shù)的?！?/span>

在多代產(chǎn)品問世之際,，Prophesee基于對新技術(shù)前景的信心，也開啟了在全球范圍內(nèi)的業(yè)務(wù)擴展,。除了位于巴黎的總部,，Prophesee如今在上海、東京,、硅谷都開設(shè)了辦事處,。“雖然目前我們在上海的辦事處規(guī)模不大,，但我們非常期望擴大我們的中國團(tuán)隊及業(yè)務(wù),。”Luca說,。

中國巨大的市場空間,、半導(dǎo)體行業(yè)強大的生態(tài)系統(tǒng)和潛力，以及政府與投資機構(gòu)提供的機會,，都是Prophesee選擇進(jìn)駐中國市場的原因,。

“在人工智能快速發(fā)展的今天，特別是在圖像視覺領(lǐng)域,，融合了AI技術(shù)的圖像視覺處理對數(shù)據(jù)帶寬,、存儲功率及計算成本等產(chǎn)生了更高的要求?！盠uca說,，“我們相信，借助Prophesee的技術(shù),，受生物啟發(fā)的神經(jīng)形態(tài)傳感器及AI算法,，能夠讓人工智能及計算機視覺未來效率更高?！?/span>