作者 迎九 金旺 《電子產(chǎn)品世界》編輯

摘要：人工智能(AI)開始由科研走向行業(yè)應(yīng)用,，其中嵌入式視覺是重要的應(yīng)用場景，例如汽車,、監(jiān)控,、虛擬現(xiàn)實/增強(qiáng)現(xiàn)實、醫(yī)學(xué)診斷,、工業(yè)視覺,、無人機(jī)和移動市場等。為此,，筆者探訪了業(yè)內(nèi)部分相關(guān)企業(yè),，請他們介紹了部分算法、研發(fā)和產(chǎn)品動向,。

從嵌入式視覺到視覺導(dǎo)向機(jī)器學(xué)習(xí)的挑戰(zhàn)

　　今天我們討論終端的計算和嵌入式計算的時候,，也需要來討論機(jī)器學(xué)習(xí)的推斷，再加上計算機(jī)視覺,，還有傳感器融合和任意互聯(lián),，來實現(xiàn)新一代的視覺導(dǎo)向自主和智能系統(tǒng)。

機(jī)器學(xué)習(xí)概況

　　根據(jù)Moor Insight & Strategy提供的機(jī)器學(xué)習(xí)范圍圖(如圖1),，在縱軸上主要是行業(yè)領(lǐng)域,，橫軸上主要是關(guān)于應(yīng)用的位置，看它是嵌入式的應(yīng)用還是更多靠近云端,。但是也有一些應(yīng)用是既在邊緣/終端,，又在云上，也就是說它首先進(jìn)行本地智能的處理,，之后還要到云端進(jìn)行分析,，使得它的解決方案能夠更加強(qiáng)大。

　　關(guān)于右側(cè)列的深色應(yīng)用區(qū)塊,，2016年底,，Xilinx推出的可重配置加速堆棧更多是關(guān)注這部分，當(dāng)然也可以適用于中間一些混合解決方案,。不久前Xilinx推出的reVISION堆棧,，希望把它應(yīng)用于左側(cè)列非常廣泛的機(jī)器學(xué)習(xí)領(lǐng)域，也有中間的一些少量的應(yīng)用,，即圖1的淺色區(qū)塊部分,。可見reVISION加上可重配置加速堆棧,，能夠?qū)崿F(xiàn)從終端到云的全面覆蓋和布局,，推動下一代的機(jī)器學(xué)習(xí),。

　　具體地，現(xiàn)在正在出現(xiàn)這樣一種轉(zhuǎn)型,，即越來越多的從圖2左邊的應(yīng)用轉(zhuǎn)向右邊的應(yīng)用,。左邊的應(yīng)用都是非常簡單的傳感器的配置，一般是各種各樣的攝像頭,，并有一個非常核心的技術(shù),，也就是計算機(jī)視覺處理技術(shù)來識別整個框架環(huán)境中的物體。右邊的應(yīng)用會越來越使用各種不同類型的傳感器技術(shù),，再加上圖像傳感器,，還要和機(jī)器學(xué)習(xí)實現(xiàn)智能的融合。例如,，過去在工廠里有機(jī)器人在籠子里來完成它們的工作，但是現(xiàn)在已經(jīng)有了新一代的協(xié)作機(jī)器人,，它們是與人肩并肩一起在工作,，而且它們是可以移動的。同樣,，在汽車ADAS(高級駕駛員輔助系統(tǒng))里包含有前視攝像頭,。但是現(xiàn)在為了要支持自動駕駛汽車的發(fā)展，攝像頭也是多種多樣,，會有不同的傳感器,，例如遠(yuǎn)程雷達(dá)、中程雷達(dá),、短程雷達(dá),，還有激光雷達(dá)、毫米波雷達(dá)等不同類型的傳感器,。再加上機(jī)器學(xué)習(xí)的融合,，使得這些車輛在行駛時能夠做出自己的決策。所以,，現(xiàn)在客戶更多地要求從左邊的應(yīng)用轉(zhuǎn)向右邊的應(yīng)用,，這個過程中就出現(xiàn)了一個很大的轉(zhuǎn)型。

　　客戶的三個主要的應(yīng)用使命或要求是：1.智能性及高效的立即響應(yīng)性,，比如行人從車前經(jīng)過;2.升級到最新算法和傳感器的靈活性;3.在一個萬物互聯(lián)的物聯(lián)網(wǎng)世界,，還需要實現(xiàn)隨時與其他機(jī)器及云保持連接。

　　很多開發(fā)視覺產(chǎn)品的客戶通常采用傳統(tǒng)的RTL流程(圖3),，需要具備相應(yīng)的硬件方面的專有知識,。所以要真正實現(xiàn)非常廣泛的視覺應(yīng)用，就必須要支持新的編程模式,，也就是軟件定義的編程,，同時還要滿足相應(yīng)行業(yè)標(biāo)準(zhǔn)庫和新型的框架來支持機(jī)器學(xué)習(xí)的應(yīng)用,。所以，通過軟件定義的編程以及符合行業(yè)標(biāo)準(zhǔn)的庫和框架,，就能夠擴(kuò)展視覺導(dǎo)向的機(jī)器學(xué)習(xí)應(yīng)用范圍,。

　　reVISION堆棧包含一些基礎(chǔ)的平臺，可以支持算法的開發(fā),，而且它帶有非常符合行業(yè)標(biāo)準(zhǔn)的庫和元素,，針對于計算機(jī)視覺以及機(jī)器學(xué)習(xí)都是非常重要的。而且,，它又更進(jìn)一步采用的是應(yīng)用的開發(fā)商喜聞樂見的平臺,。這些框架包括在機(jī)器學(xué)習(xí)領(lǐng)域是Caffe，在計算機(jī)視覺領(lǐng)域就是OpenVX(如圖3右側(cè)),。

　　圖3縱軸上表現(xiàn)的是開發(fā)應(yīng)用時所需要的時間和精力,，橫軸上顯示的是開發(fā)這些應(yīng)用所使用的方法。大約在2010年以前,，Xilinx推出了新的提高產(chǎn)率的工具,，也就是基于RTL的硬件設(shè)計的工作流程。2015年下半年,，Xilinx推出軟件定義的編程環(huán)境——SDSoC,，基于Xilinx的Zynq SoC芯片，主要是嵌入式的應(yīng)用,。通過2017年上半年推出的reVISION堆棧,，開發(fā)時間可以大大壓縮。所以,，傳統(tǒng)的模式是Xilinx提供芯片以及開發(fā)環(huán)境中20%的解決方案,，剩下的80%要由客戶來完成。但是有了reVISION堆棧以后,，Xilinx能夠完成解決方案當(dāng)中80%的工作,，剩下的客戶只要完成20%，就可以實現(xiàn)其應(yīng)用,。

　　經(jīng)Xilinx測算,，相比同類產(chǎn)品(諸如英偉達(dá)的Tegra和典型SoC)，Xilinx的解決方案在機(jī)器學(xué)習(xí)的效率方面能夠提升6倍,，在計算機(jī)視覺領(lǐng)域要提高40倍以上,。在實時快速響應(yīng)的系統(tǒng)當(dāng)中，更重要的一個參數(shù)是時延,，Xilinx在時延方面只有同類產(chǎn)品的1/5,。

軟硬件的可重配置性和可編程性

　　圖4顯示的是不同類別的傳感器演進(jìn)的過程，如果Xilinx看一下這些視覺導(dǎo)向應(yīng)用,，比如圖像,，Xilinx可以看到在傳感器的類型和配置方面是出現(xiàn)了一個爆炸,，這種情況Xilinx把它稱作傳感器的融合。Xilinx可以看到是人工智能和機(jī)器學(xué)習(xí)的不斷擴(kuò)展驅(qū)動了這種傳感器融合的趨勢,，所以也需要可重配置性來跟上這些變化的步伐,。

　　如果把所有這些元素都放在圖5里?？v軸體現(xiàn)的是系統(tǒng)的響應(yīng)時間,，橫軸體現(xiàn)的是系統(tǒng)可重新配置的能力來適應(yīng)新的神經(jīng)網(wǎng)絡(luò)、算法和傳感器,。為了做到全面完整,，在這里也包含了CPU和大型的GPU。這些器件在推斷方面表現(xiàn)是非常優(yōu)異的,，但是在時延方面就不是那么理想,，但是由于它們精度非常高，所以它們非常適用于在一些數(shù)據(jù)中心的研發(fā)方面的訓(xùn)練,，所以它們響應(yīng)的時間方面是非常低的,，但是因為它們需要固定的硬件，它們的可重配置性方面也很低,。而reVISION具有很強(qiáng)的可重配置性和可編程性。

Cadence的視覺,、雷達(dá),、融合傳感器計算

　　在神經(jīng)網(wǎng)絡(luò)的器件方面，英偉達(dá)主宰了通用GPU,。而Cadence Tensilica發(fā)布的神經(jīng)網(wǎng)絡(luò)DSP IP則是面向嵌入式芯片,。

　　最新的Cadence Tensilica Vision C5 DSP由于可配置，可以面向多種CNN,。因為CNN更新很快,，但從拿到IP到芯片上市通常要兩三年時間，因此固化硬件的方案會導(dǎo)致不能滿足未來的需求變化,，所以并不合適,，而DSP IP的靈活性使其適合嵌入式系統(tǒng)中的NN(神經(jīng)網(wǎng)絡(luò))實現(xiàn)。

　　通常的NN加速器中,，HW(硬件) NN ACC(加速器)與Imaging(圖像)DSP,、CPU或GPU的通訊/連接很繁瑣，可能占整個計算工作量的40%,。而由于Cadence重新設(shè)計了NN加速器,，C5的計算能力可達(dá)1T MAC/s，面積在1mm2以內(nèi)(注：16nm工藝),。

C5與友商的差異化

　　實際上,，專用芯片/ASIC的功耗更低,，大批量制造成本也更低。另外,，F(xiàn)PGA支持的運(yùn)行頻率較低,，只有幾十MHz，而Vision C5可以支持幾百M(fèi)Hz的運(yùn)行頻率,。

　　相比同是處理器IP廠商的Synopsys與CEVA,，后兩者的CNN方案需要三部分：控制、Imaging處理器,、HW NN ACC(加速器),。而C5把后兩部分集成在一起，因此只需要兩大塊,，方案更為簡潔,，同時提高了Imaging處理的效率。

Mobileye自動駕駛的下一步計劃

　　Mobileye(現(xiàn)被Intel收購)現(xiàn)在做的是三大技術(shù)支柱:1.視覺感知;2.做適用于自動駕駛的地圖;3.教會車如何去行駛,，即和現(xiàn)有的人開車的車流去混合行進(jìn),。

　　視覺感知

　　Mobileye是一個以單目攝像頭做視覺的技術(shù)， Mobileye現(xiàn)在是做三目,，再后來是八目,，在前方是三個攝像頭，側(cè)邊一邊兩個,，后面一個,，加起來是八個，不同于現(xiàn)在的環(huán)視系統(tǒng),，Mobileye開發(fā)的這款產(chǎn)品不管是哪個攝像頭獲取的信息都要進(jìn)行判斷,。從這個角度看，需要判斷的東西非常多,。即使Mobileye做三攝像頭的解決方案,，三個焦距，其實它是三個不同焦距的攝像頭,，定位遠(yuǎn),、中、近,，每個攝像頭的角度不一樣,，這樣，三個攝像頭之間是互相覆蓋和冗余的,，從而可以做到在城市道路上不同的攝像頭會起到作用,，做到更寬、更遠(yuǎn),、更精準(zhǔn)的判斷,。

　　Mobileye接下來將可以做到3D(立體),，也就是車不管什么角度，Mobileye都是可以識別出來,，預(yù)計2018年可用于量產(chǎn)的車,。

美光：適用于視頻監(jiān)控行業(yè)的創(chuàng)新邊緣存儲解決方案

　　邊緣存儲技術(shù)是指錄制視頻并存儲在攝像頭或直連存儲設(shè)備中，而不是通過網(wǎng)絡(luò)存儲到集中式記錄設(shè)施中,。這項技術(shù)迅速得到了認(rèn)可,，并在IP 視頻監(jiān)控應(yīng)用中得到了廣泛的采用。

　　IP視頻監(jiān)控中邊緣存儲面臨的挑戰(zhàn)

　　目前市場上的絕大多數(shù) microSD 卡都是消費(fèi)級產(chǎn)品,，而不是為 IP 視頻監(jiān)控攝像頭中的商業(yè)和工業(yè)邊緣存儲設(shè)計的,。因此，許多系統(tǒng)集成商和安裝 者認(rèn)為邊緣存儲“不可靠”,。大多數(shù)用戶都不了解,， 邊緣錄制中使用的 microSD 卡的壽命和質(zhì)量可能千差萬別，具體取決于所選卡的質(zhì)量,。選擇質(zhì)量不佳 的microSD 卡可能會導(dǎo)致在部署完成后的幾個月內(nèi) 就發(fā)生代價不菲的現(xiàn)場故障,。

　　適用于邊緣存儲應(yīng)用的美光工業(yè)卡

　　憑借閃存技術(shù)方面的專業(yè)知識和監(jiān)控應(yīng)用知識，美光科技開發(fā)了一種監(jiān)控專用的工業(yè)級存儲卡,，用于 IP 視頻監(jiān)控應(yīng)用中的邊緣存儲,。這種卡具備高耐用性、卓越的錄制性能,、工業(yè)級質(zhì)量,、可監(jiān)控運(yùn)行狀況的智能工具等優(yōu)勢。

　　參考文獻(xiàn)：

　　[1]王瑩.眾廠商談智能制造的技術(shù)市場動向[J].電子產(chǎn)品世界,2016(42-3):13-18.

　　[21]胡郁.人工智能與語音識別技術(shù)[J].電子產(chǎn)品世界,2016(4):23-25.

　　[3]Tom Austin,陳勇.智能機(jī)器：區(qū)分事實與虛幻[J].電子產(chǎn)品世界,2016(10):7-8.

　　[4]王瑩,王金旺.智能感知的市場與發(fā)展[J].電子產(chǎn)品世界,2016(10):13-19.

　　本文來源于《電子產(chǎn)品世界》2017年第7期第24頁,，歡迎您寫論文時引用，并注明出處,。