目錄

1,、SVP資料介紹

1.1 SVP 簡(jiǎn)介

1.2 開(kāi)發(fā)框架

1.3 開(kāi)發(fā)流程

2,、Hi3516DV300/CV500SDK內(nèi)容介紹

1,、SVP資料介紹

1.1 SVP 簡(jiǎn)介

SVP(Smart Vision Platform)是海思媒體處理芯片智能視覺(jué)異構(gòu)加速平臺(tái)。該平臺(tái)包含了CPU,、 DSP,、 NNIE(Neural Network Inference Engine)等多個(gè)硬件處理單元和運(yùn)行在這些硬件上 SDK 開(kāi)發(fā)環(huán)境，以及配套的工具鏈開(kāi)發(fā)環(huán)境,。

軟件開(kāi)發(fā)接口介紹請(qǐng)參考“ReleaseDoc\zh\01.software\board\SVP\HiSVP API參考”,。不同芯片下的 SVP 硬件資源如圖1-1

image

圖1-1

本項(xiàng)目采用的是Hi3516DV3100， 所以后續(xù)文章都是基于款芯片NNIE的進(jìn)行SVP開(kāi)發(fā),。 3516DV里面的硬件NNIE（Neural Network Inference Egine）是海思媒體 SoC 中專(zhuān)門(mén)針對(duì)神經(jīng)網(wǎng)絡(luò)特別是深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行加速處理的硬件單元,，可以定點(diǎn)并行運(yùn)算來(lái)進(jìn)行深度學(xué)習(xí)算法模型推理，支持現(xiàn)有大部分的公開(kāi)網(wǎng)絡(luò),，如 Alexnet,、 VGG16、 Googlenet,、 Resnet18,、Resnet50 等分類(lèi)網(wǎng)絡(luò)， Faster RCNN,、 YOLO,、 SSD、 RFCN 等檢測(cè)網(wǎng)絡(luò),，以及 SegNet,、 FCN 等場(chǎng)景分割網(wǎng)絡(luò)。目前 NNIE 配套軟件及工具鏈僅支持以 Caffe 框架,，使用其他框架的網(wǎng)絡(luò)模型需要轉(zhuǎn)化為 Caffe 框架下的模型,。

1.2 開(kāi)發(fā)框架

SVP 開(kāi)發(fā)框架如圖1-2所示。目前 SVP 中包含的硬件處理單元有 CPU,、 vision DSP,、NNIE，其中某些硬件可能有多核,。不同的硬件有不同的配套工具鏈，用戶(hù)的應(yīng)用程序需要結(jié)合這些工具的使用來(lái)開(kāi)發(fā),。

image

圖1-2

1.3 開(kāi)發(fā)流程

以 Caffe 框架上訓(xùn)練的模型為例,， NNIE 的開(kāi)發(fā)流程如圖 1-3 所示。在 Caffe 上訓(xùn)練,、使用 NNIE 的 mapper 工具轉(zhuǎn)化都是離線(xiàn)的,。通過(guò)設(shè)置不同的模式， mapper 將*.caffemodel 轉(zhuǎn)化成在仿真器,、仿真庫(kù)或板端上可加載執(zhí)行的數(shù)據(jù)指令文件,。一般在開(kāi)發(fā)前期,，用戶(hù)可使用仿真器對(duì)訓(xùn)練出來(lái)的模型進(jìn)行精度、性能,、帶寬進(jìn)行初步評(píng)估,，符合用戶(hù)預(yù)期后再使用仿真庫(kù)進(jìn)行完整功能的仿真，最后將程序移植到板端,。

image

2,、Hi3516DV300/CV500SDK內(nèi)容介紹

image

圖2-1

1）Hi3516C V500R001C02SPC010 它的子目錄software\board下面有3516CV500的軟件開(kāi)發(fā)工具包：Hi3516C V500R001C02SPC011\01.software\board\Hi3516CV500_SDK_V2.0.1.1.tgz非常重要。 此外01.software\pc子目錄下一些如uboot燒寫(xiě),，tune PQ之類(lèi)的工具,。
2)ReleaseDoc.rar 開(kāi)發(fā)手冊(cè)。
3)toolchain.part1.rar和toolchain.part2.rar 它是交叉編譯器( 解壓part1,，part2 會(huì)跟著自動(dòng)解壓),，運(yùn)行l(wèi)inux環(huán)境中 。
4）它解壓后有個(gè)和AI相關(guān)的重要目錄：SVP_PC\HiSVP_PC_V1.2.2.2.tgz,， 里面有nnie的轉(zhuǎn)換,，仿真等工具軟件。

關(guān)注公眾號(hào)“stiveallen”,回復(fù)Hi3516”,，即可免費(fèi)領(lǐng)取Hi3516DV300SDK開(kāi)發(fā)資料包,。

海思AI芯片(Hi3516DV300/CV500)開(kāi)發(fā)（2.RuyiStudio安裝）