久久国产成人av_抖音国产毛片_a片网站免费观看_A片无码播放手机在线观看,色五月在线观看,亚洲精品m在线观看,女人自慰的免费网址,悠悠在线观看精品视频,一级日本片免费的,亚洲精品久,国产精品成人久久久久久久

分享

什么是深度學(xué)習(xí)?什么是類腦計(jì)算,?

 菌心說 2021-09-13

現(xiàn)如今,,談起人工智能我們都會(huì)想到的是“深度學(xué)習(xí)”(deep learning),無論是戰(zhàn)勝李世石的AlphaGo,,還是能夠隨意寫出人類水平文章的GPT-3,,它們的背后都依托的是這套算法。

它具有很好的數(shù)學(xué)解釋性,,與現(xiàn)有的計(jì)算機(jī)架構(gòu)完美匹配,但也存在需要大量數(shù)據(jù)訓(xùn)練,、耗能巨大以及隨之而來的產(chǎn)熱驚人等問題,,為此最前沿的研究者提出了“類腦計(jì)算”的概念,想要通過進(jìn)一步模仿人類大腦的運(yùn)行方式,,重構(gòu)計(jì)算機(jī)的底層架構(gòu),,好讓人工智能擺脫這種越好用成本越高的窘境。

目前,,新興的“類腦計(jì)算”還沒有大規(guī)模應(yīng)用,,但各項(xiàng)研究已經(jīng)取得了一定的突破,今天首席未來官特意為你梳理了“類腦計(jì)算”的底層原理,并通過與“深度學(xué)習(xí)”算法的對(duì)比,,讓你提前了解這個(gè)可能會(huì)顛覆未來計(jì)算機(jī)產(chǎn)業(yè)的新技術(shù),。

1.“深度學(xué)習(xí)”的原理

“深度學(xué)習(xí)”算法本質(zhì)是對(duì)人類大腦視覺系統(tǒng)的模仿,因?yàn)槿说囊曈X系統(tǒng)由很多層神經(jīng)網(wǎng)絡(luò)組成,,層與層之間通過學(xué)習(xí)訓(xùn)練生成連接的通路,,所以被稱為“深度學(xué)習(xí)”。

文章圖片1

深度學(xué)習(xí)算法雖然在層級(jí)上模擬了視覺系統(tǒng),,但受限于電腦結(jié)構(gòu)中存儲(chǔ)與運(yùn)算分開的模式,,做不到像人類的神經(jīng)元一樣將計(jì)算(神經(jīng)元)和存儲(chǔ)(突觸)一體化,于是把神經(jīng)元的運(yùn)作方式抽象成了一個(gè)輸入與輸出結(jié)合的計(jì)算過程,。

這就導(dǎo)致了原本一個(gè)神經(jīng)元能夠完成的任務(wù),,在計(jì)算機(jī)上需要大量的計(jì)算單位才能完成。2021年8月10日,,在Neuron上發(fā)布的一項(xiàng)研究顯示,,人腦一個(gè)神經(jīng)元的功能在深度算法中需要1000個(gè)以上的計(jì)算單元通過5到8層的深度網(wǎng)絡(luò)實(shí)現(xiàn)。

2.先天缺陷帶來的短板

由于需要大量計(jì)算單元才能實(shí)現(xiàn)單個(gè)人類神經(jīng)元的功能,,這就直接導(dǎo)致了深度學(xué)習(xí)要實(shí)現(xiàn)與人腦相似的功能復(fù)雜程度就會(huì)更高,。

如今在語言模型上最強(qiáng)的GPT-3擁有1750億個(gè)參數(shù),做個(gè)簡單推導(dǎo)也就相當(dāng)于1.7億個(gè)人類的腦神經(jīng)元,,而人腦的神經(jīng)元個(gè)數(shù)在100億左右,,如果把人腦神經(jīng)網(wǎng)絡(luò)的復(fù)雜連接再算上,要完全模擬一個(gè)人腦出來的耗能將難以想象,。

文章圖片2

更多的計(jì)算單元也就意味著更大的能量消耗,,同樣拿GPT-3為例,它訓(xùn)練一次消耗的能量可以讓一輛車在在地球與月球之間跑完一個(gè)來回,,而只用來下圍棋的Alpha Go僅計(jì)算單元的功率也有2000W的水平,,與之相對(duì)的是坐它對(duì)面的李世石的大腦耗能只需要20W左右,是它的百分之一,。

3.模仿神經(jīng)元的“類腦計(jì)算”

為了解決深度學(xué)習(xí)的問題,,科學(xué)家提出了進(jìn)一步模擬人腦“神經(jīng)元—突觸”體系的“類腦計(jì)算”思路,分別從算法和硬件兩方面探索打造“人工大腦”的方法,。

算法層面上,,目前的研究重點(diǎn)是“脈沖神經(jīng)網(wǎng)絡(luò)”(Spiking Neural Network,簡稱SNN),,顧名思義就是模仿神經(jīng)脈沖信號(hào)傳遞,、運(yùn)算的人工智能算法,SNN的最大優(yōu)點(diǎn)在于,,相較傳統(tǒng)算法中每個(gè)計(jì)算單元始終處于活躍狀態(tài)不同,,其每個(gè)計(jì)算單元只有在接受或者發(fā)出信號(hào)時(shí)才被激活,,同時(shí)它進(jìn)行的只有加減運(yùn)算,節(jié)省了運(yùn)算資源也減小了求和量,。

但脈沖本身的不連續(xù)性使得傳統(tǒng)的人工智能訓(xùn)練模式并不能適用于它,,所以其性能盡管理論上可以與深度學(xué)習(xí)算法相匹配,相應(yīng)的訓(xùn)練模式還處于研究階段,。

文章圖片3

硬件層面,,類腦芯片也開始興起,不再像傳統(tǒng)計(jì)算機(jī)中的“馮·諾依曼架構(gòu)”,,把存儲(chǔ)與計(jì)算功能分離,,使得每次計(jì)算都要在內(nèi)存和CPU上頻繁調(diào)用數(shù)據(jù),導(dǎo)致信息效率差,、發(fā)熱高,,而是基于微電子技術(shù)和新型神經(jīng)形態(tài)器件的結(jié)合,實(shí)現(xiàn)存儲(chǔ)與計(jì)算的深度融合,,使芯片能夠進(jìn)行異步,、并行、低速和分布式處理信息數(shù)據(jù),,并具備自主感知,、識(shí)別和學(xué)習(xí)的能力。

4.4款類腦芯片

·IBM TrueNorth(SyNAPSE芯片)

2014年8月,,IBM公司推出了第二代類腦芯片“True North”,,工藝進(jìn)化到了28納米,擁有了100萬個(gè)可編程神經(jīng)元和2.56億個(gè)可編程數(shù)據(jù)傳輸通道,。

文章圖片4

這次最大的進(jìn)步在于“神經(jīng)突觸內(nèi)核架構(gòu)”,,讓其中每個(gè)計(jì)算核心(神經(jīng)元)都擁有了本地內(nèi)存,工作方式已經(jīng)非常類似人腦中的神經(jīng)元,,總功耗降低到了第一代的1%,,體積是第一代的十五分之一。

·英特爾Loihi芯片

Loihi芯片是英特爾的首款自學(xué)習(xí)神經(jīng)元芯片,,歷時(shí)十年研究設(shè)計(jì),,可以像人類大腦一樣,通過脈沖或尖峰傳遞信息,,并自動(dòng)調(diào)節(jié)突觸強(qiáng)度,,通過環(huán)境中的各種反饋信息,進(jìn)行自主學(xué)習(xí),、下達(dá)指令。

據(jù)英特爾的數(shù)據(jù),,該芯片內(nèi)部包含了128個(gè)計(jì)算核心,,每個(gè)核心集成1024個(gè)人工神經(jīng)元,總計(jì)13.1萬個(gè)神經(jīng)元,彼此之間通過1.3億個(gè)突觸相互連接,,運(yùn)算規(guī)模和蝦腦相當(dāng),。

·高通Zeroth芯片

Zeroth不需要預(yù)編程,通過正向強(qiáng)化的方式,,提供了類似人類大腦多巴胺刺激的方式,,讓芯片具備了從周圍環(huán)境獲取反饋的能力,高通用裝載該芯片的機(jī)器小車進(jìn)行演示,,使小車在自行啟發(fā)算法下完成尋路,、躲避障礙等任務(wù)。

文章圖片5

·西井科技DeepSouth芯片

西井科技是一家中國公司,,已推出了兩款類腦芯片,,其中DeepSouth擁有5000 萬類腦神經(jīng)元,總計(jì)有 50 億的“神經(jīng)突觸”,,可以直接在芯片上完成計(jì)算,,不需要通過網(wǎng)絡(luò)連接后臺(tái)服務(wù)器,可在“無網(wǎng)絡(luò)”情況下使用,。

    本站是提供個(gè)人知識(shí)管理的網(wǎng)絡(luò)存儲(chǔ)空間,,所有內(nèi)容均由用戶發(fā)布,不代表本站觀點(diǎn),。請(qǐng)注意甄別內(nèi)容中的聯(lián)系方式,、誘導(dǎo)購買等信息,謹(jǐn)防詐騙,。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容,,請(qǐng)點(diǎn)擊一鍵舉報(bào)。
    轉(zhuǎn)藏 分享 獻(xiàn)花(0

    0條評(píng)論

    發(fā)表

    請(qǐng)遵守用戶 評(píng)論公約

    類似文章 更多