人工智能(AI)在自動(dòng)駕駛、物聯(lián)網(wǎng)和機(jī)器人技術(shù)中的應(yīng)用離不開數(shù)據(jù)處理,。目前終端設(shè)備需要將采集的大量數(shù)據(jù),，包括圖像、視頻,、音頻等,，通過網(wǎng)絡(luò)傳輸至數(shù)據(jù)中心進(jìn)行AI相關(guān)的處理，然后再將結(jié)果返回至終端設(shè)備,。這就帶來了網(wǎng)絡(luò)帶寬,、數(shù)據(jù)傳輸穩(wěn)定性及安全性等問題。

因此,，AI從云端走向邊緣終端設(shè)備是大勢(shì)所趨,，AI邊緣推理芯片應(yīng)運(yùn)而生。

Intel,、Google,、Nvidia及Flex Logix邊緣推理芯片

目前的AI邊緣推理芯片有Intel的Myriad、Google的Edge TPU,、Nvidia的Jetson Nano及Flex Logix的InferX X1等,。

(圖片來源：Flex Logix)

(圖片來源：Flex Logix)

Flex Logix的InferXtm X1邊緣推理芯片是在業(yè)界領(lǐng)先的eFPGA互連技術(shù)上，結(jié)合專為AI推理運(yùn)算而優(yōu)化的nnMAXtm乘加器(MAC)而開發(fā),。

Flex Logix公司稱,，在通常只有一個(gè)攝像頭或傳感器、需要完成小批量數(shù)據(jù)處理的邊緣應(yīng)用中,，InferX X1的性能接近數(shù)據(jù)中心推理芯片,，并且只需一個(gè)DRAM即可在邊緣應(yīng)用中提供高吞吐量,，同時(shí)保持系統(tǒng)功耗和成本。

“設(shè)計(jì)邊緣神經(jīng)網(wǎng)絡(luò)推理芯片的一個(gè)難題是如何降低大量的數(shù)據(jù)交換及降低功耗,，而我們的可編程互連技術(shù)是接近完美的解決方案,。”Flex Logix公司CEO Geoff Tate說,。

Tate表示,，InferX X1基于低DRAM帶寬，與高端數(shù)據(jù)中心服務(wù)器的黃金標(biāo)準(zhǔn)Nvidia的Tesla T4相比,，每瓦吞吐量提高了四倍,，每美元吞吐量提高了三倍。

Tate提到,，InferX在YoloV2,，YoloV3和GoogleNet等推理基準(zhǔn)方面優(yōu)于其它供應(yīng)商的邊緣推理芯片，如Intel的Myriad X和Nvidia的Jetson Nano,。

圖：InferX X1與Nvidia Tesla T4的價(jià)格/性能比和性能/瓦特比,。(圖片來源：Flex Logix)

Tate強(qiáng)調(diào)InferX雖然不具Tesla T4的吞吐量，但其最終售價(jià)將僅為T4價(jià)格的幾分之一,。

“我們的InferX X1 AI邊緣推理芯片專注于AI推理,，而Intel及Nvidia等邊緣推理產(chǎn)品除了推理還提供AI訓(xùn)練，因此可以說Flex Logix的邊緣推理芯片做得更專更精,?！盕lex Logix的銷售總監(jiān)Jim Jian在接受《電子工程專輯》記者的采訪時(shí)談到。

Jim還特別提到,，目前幾乎沒有哪個(gè)邊緣推理產(chǎn)品的供應(yīng)商公布其產(chǎn)品的Benchmark,，“我們決定將InferX X1的Benchmark公之于眾，方便客戶在不同的供應(yīng)商之間進(jìn)行比較和選擇,?！憋@示出Flex Logix對(duì)InferX X1 AI邊緣推理芯片的信心。

(圖片來源：Flex Logix)

高算力,，低成本,，InferX X1是怎樣做到的?

InferX AI芯片的核心技術(shù)源自Flex Logix擁有專利的現(xiàn)有eFPGA IP里的可編程互連技術(shù)，同時(shí)結(jié)合專為AI推理而設(shè)計(jì)的乘加器(MAC)和存儲(chǔ)單元,。這些乘加器支持INT8,、INT16、BF16等AI算法里常見的精度數(shù)字,。

(圖片來源：Flex Logix)

“在運(yùn)算一層網(wǎng)絡(luò)的時(shí)候,，我們利用可編程互連將InferX的MAC根據(jù)這一層網(wǎng)絡(luò)的dataflow來連接，等于是專為這一層運(yùn)算配置了一個(gè)ASIC,。同時(shí)對(duì)下一層網(wǎng)絡(luò)進(jìn)行pre-load,，以實(shí)現(xiàn)在這一層運(yùn)算完后可以最快速地配置下一層,。同樣的可編程互連也與片上的SRAM連接，將這一層的輸出,，快速配置成下一層的輸入,，從而避免了大量的數(shù)據(jù)交換。所以InferX只需要一顆x32 DRAM就夠了,。這讓我們可以將芯片設(shè)計(jì)得更小,，大大降低了功耗和成本?！盕lex Logix公司CEO Geoff Tate指出,。

InferX X1芯片可以通過擴(kuò)展口來連接數(shù)個(gè)芯片以增加算力。Flex Logix同時(shí)還提供搭載InferX X1的半高半長(zhǎng)PCIe卡給Edge Server和gateway客戶,。

(圖片來源：Flex Logix)

正是因?yàn)閼?yīng)用了核心的可編程互連技術(shù),，并在InferX芯片產(chǎn)品中引入其它新技術(shù)，才使得InferX X1能在提供高算力的同時(shí)提供低功耗和低成本,，并且適用于任何神經(jīng)網(wǎng)絡(luò),。

InferX X1應(yīng)用在哪些領(lǐng)域?

InferX X1是專為邊緣推理應(yīng)用而設(shè)計(jì)的，適用于邊緣終端設(shè)備,，特別是需要實(shí)時(shí)處理數(shù)據(jù)的設(shè)備和應(yīng)用,，例如L3~L5的汽車自動(dòng)駕駛、視頻監(jiān)控和識(shí)別,、自然語音處理等。除此之外,，還可用于機(jī)器人,、無人機(jī)、醫(yī)療設(shè)備,，甚至云端的推理服務(wù)器,。

(圖片來源：Flex Logix)

InferX X1可以支持語音，圖像,，視頻等任何基于TensorFlow-Lite或ONNX的模型和算法,，特別適用于大型的模型算法和實(shí)時(shí)識(shí)別。例如YOLOv3實(shí)時(shí)物體識(shí)別算法,，InferX X1在batch=1的情況下,，可以對(duì)1Megapixel圖像達(dá)到25.4幀每秒(fps)的吞吐量，而對(duì)2Megapixel高清圖像則達(dá)到12.7幀每秒(fps),。

工程師在使用InferX X1時(shí)應(yīng)當(dāng)注意什么?

當(dāng)《電子工程專輯》記者問到工程師在使用InferX X1時(shí)應(yīng)當(dāng)特別注意什么時(shí),，Jim Jian說，F(xiàn)lex Logix的eFPGA的用戶主要是設(shè)計(jì)芯片的硬件工程師,，而InferX X1芯片用于AI推理,，所以客戶主要是算法工程師,。算法工程師不需要了解芯片內(nèi)部的結(jié)構(gòu)及運(yùn)行，他們關(guān)注的是自己的神經(jīng)網(wǎng)絡(luò)模型在InferX X1芯片上是否能夠達(dá)到所需的性能,。

所以,，這些算法工程師在設(shè)計(jì)擁有推理功能的邊緣終端設(shè)備或系統(tǒng)時(shí)，首先要確認(rèn)推理計(jì)算的芯片是否能提供足夠的算力來達(dá)到自己算法需要的精度和吞吐量,，同時(shí)還需要考慮設(shè)備對(duì)功耗的限制,，以及對(duì)成本的要求。

(圖片來源：Flex Logix)

Flex Logix向客戶提供編譯器軟件nnMAX Compiler,，客戶可以將基于TensorFlow-Lite或ONNX的算法直接用nnMAX Compiler軟件編譯,。因此，設(shè)計(jì)一開始客戶就能了解自己的算法在InferX芯片上運(yùn)行的性能和功耗等數(shù)據(jù),，從而迅速評(píng)估并優(yōu)化自己的設(shè)計(jì),。