【原】重大突破！一個顛覆谷歌“深度學習”最新模型,，應用接近人腦神經(jīng)元原理

RoboSpeak 2020-12-23

展開全文

技術領域

本發(fā)明屬于信息處理領域,，尤其是一種人工智能超深度學習模型的構成方法。

背景技術

當前在全世界范圍內人工智能成為熱點話題,，與人工智能相關的專利也引人注目,，在這方面日本著名古河機電公司發(fā)表了“圖像處理方法和圖像處理裝置”（專利文獻1）的專利申請,，該專利提出通過人工智能的神經(jīng)網(wǎng)絡的算法選取圖像的處理閥值從而高精度的將圖像的輪廓抽出。

在汽車自動駕駛的應用中日本著名的豐田公司發(fā)表了“駕駛指向推定裝置”的專利（專利文獻2）,，該專利提出根據(jù)汽車自動駕駛過程中,，針對突發(fā)的情況，即使駕駛員沒有反映的情況下,，通過人工智能的逆?zhèn)鬟f神經(jīng)網(wǎng)絡的機器學習算法,，自動的選擇駕駛狀態(tài)，以避免行車事故的發(fā)生等,。

專利文獻

【專利文獻1】（特開2013－109762）

【專利文獻1】（特開2008－225923）

上述（專利文獻1）和（專利文獻2）都提到采用人工智能的神經(jīng)網(wǎng)絡算法,，但是，神經(jīng)網(wǎng)絡算法中的加權值W,，與閥值T在學習的過程中,，要想得到最佳的解，需要將所有的狀態(tài)都要進行測試,，所要組合的總次數(shù)是｛（W×T）n｝×P,，這里n為一層的神經(jīng)網(wǎng)絡的節(jié)點數(shù)，P為神經(jīng)網(wǎng)絡的層數(shù),，如此高指數(shù)的計算復雜度使計算量龐大,，最終造成自組織收斂太慢；再加上加權值和閥值這兩個參數(shù)是互關聯(lián)的,，針對整體的目標進行各個加權值和閥值的調節(jié)不能保證所得到的結果是整體的最佳解,；另外，神經(jīng)網(wǎng)絡的模型中的閥值的定義屬于初等數(shù)學,，同人的大腦的神經(jīng)網(wǎng)絡的機理相差甚大,，腦神經(jīng)的刺激信號的原理不能在傳統(tǒng)的神經(jīng)網(wǎng)絡模型中充分體現(xiàn)，人的頭腦的根據(jù)神經(jīng)元的神經(jīng)信號所產(chǎn)生的興奮程度不同進行不同的判斷的機理在目前的神經(jīng)網(wǎng)絡的模型中也不能體現(xiàn),，再有目標函數(shù)往往是隨機分布的,，神經(jīng)網(wǎng)絡模型并沒有考慮針對隨機變量的處理等等，目前的神經(jīng)網(wǎng)絡模型只能是學術上的,，代表一種方向性的理論,，同達到實際應用的程度差距甚大。如今進入深度學習的階段,，同傳統(tǒng)的神經(jīng)網(wǎng)絡相比只增加了隱藏層的數(shù)量,，這更加使計算的復雜度加大，雖然在學習中導入了一些優(yōu)化算法,，但是并沒脫離原來的神經(jīng)網(wǎng)絡的基礎,，傳統(tǒng)神經(jīng)網(wǎng)絡的致命問題得不到解決，廣泛應用的前景很難期待,。

再有,，組合理論通過圖論解決最佳組合問題最初是由美國佛羅里達州大學臺灣籍劉教授發(fā)明的,，80年代初我國訪問學者王教授提出了利用“墑”的最佳組合理論，該理論由于從理論上可以證明能夠獲得最佳的組合結果,，因此引起世界學界的高度重視,。然而，利用“墑”的最佳組合理論的問題點也是計算復雜度大,，收斂慢致使應用受到局限,。

人工智能的定義

什么是人工智能？簡單講就是用計算機實現(xiàn)人的頭腦功能,，即通過計算機實現(xiàn)人的頭腦思維所產(chǎn)生的效果,，人工智能算法所要處理的問題，以及處理后的結果是不可預測的,。

目前之所以在社會上把普通的模式識別,，機器人技術混同于人工智能，其根本原因就是對人工智能的概念不清楚,，因此把一切先進的技術統(tǒng)統(tǒng)歸屬于人工智能,，這反而會影響人工智能的發(fā)展。

長期以來人們習慣于把導入計算機處理的系統(tǒng)統(tǒng)稱為智能系統(tǒng),，所以看到人工智能的詞匯時馬上就聯(lián)想到智能系統(tǒng),，其實這是完全不同的兩個概念，智能系統(tǒng)是依據(jù)確定性的算法所實現(xiàn)的系統(tǒng),，是按照一種算法實現(xiàn)某種目標函數(shù)的處理,，其處理結果是確定性的系統(tǒng)。例如自動控制系統(tǒng),，通過閉環(huán)的PID調節(jié),，使機械位置能夠盡快達到事先要求的位置，使溫度盡快到達事先的要求指標等等,，這種算法往往是經(jīng)典的理論,，還有在模式識別的智能系統(tǒng)中有很多經(jīng)典的分類的算法，例如利用歐幾里德距離,，可以計算出一個特征向量數(shù)據(jù)同若干個向量數(shù)據(jù)中的那個向量數(shù)據(jù)最接近,，這些都是模式識別的基本算法，導入這些算法的模式識別系統(tǒng)就是一個智能的系統(tǒng),。

再有在機器人系統(tǒng)中，機器人的行走以及手臂的動作需要人為的事先通過程序輸入到機器人系統(tǒng)中,，機器人才可以按照人為輸入的程序進行行走以及各種手臂動作,，局外人看著機器人的動作還以為是同人一樣可以隨心所欲的作出各種動作，其實不然,，在機器人行走過程中如果路上出現(xiàn)一個不可預知的障礙物,，這時機器人肯定會被絆倒,，然而如果在機器人系統(tǒng)中搭載了人工智能的算法，就可以由機器人自己的判斷,，自主的繞過障礙物,。所以普通的智能系統(tǒng)與人工智能的區(qū)別歸納起來就是：普通智能系統(tǒng)是經(jīng)典的算法，是僅以滿足目標函數(shù)的的算法,，是解決其結果是可預測性問題的算法,，人工智能是模仿大腦處理問題的方法，或能客觀上實現(xiàn)了人腦所能實現(xiàn)的處理,，所要解決的問題,，以及處理的結果往往是不確定性的，或者說是事先不可預知的,。

發(fā)明內容

本發(fā)明的第一個目的是：提出一個接近人腦神經(jīng)元原理的神經(jīng)網(wǎng)絡模型,，提出一個符合人的大腦神經(jīng)所產(chǎn)生的神經(jīng)觸發(fā)的神經(jīng)信號的神經(jīng)網(wǎng)絡閥值的定義方法，使神經(jīng)網(wǎng)絡算法能夠適應以概率分布的復雜系問題為對象的應用,。

本發(fā)明的第二個目的是：提出一個適應實際應用需要的,，具有計算復雜度低的，高效率的,，從根本上顛覆深度學習理論的新的神經(jīng)網(wǎng)絡的算法,。

為解決上述傳統(tǒng)的神經(jīng)網(wǎng)絡算法所存在的問題，提出一種人工智能超深度學習模型的構成方法,，本發(fā)明提出如下技術方案：

圖1是一種人工智能超深度學習模型的構成示意圖,。

首先進行字母表達的如下定義：

設輸入信息的數(shù)量與輸入層節(jié)點的數(shù)量為h（h=1,2,…,k），再設學習次數(shù)為z=1,2,…,w,，神經(jīng)元的層數(shù)為p（p=1,2,…,e）,。被學習的圖像也應為Fz（z=1,2,…,w），隱藏層即神經(jīng)層的節(jié)點數(shù)量與輸入層的節(jié)點數(shù)量對應也為h（h=1,2,…,k）,，第一次學習的輸入信息到輸入層節(jié)點之前需要進行學習的微機器學習為MLzph,，輸入層p＝1，所以MLz1h有

ML111,，ML112,，…，ML11k,，

ML211,，ML212，…,，ML21k,，

…，

MLw11,，MLw12,，…,，MLw1k，

（公式1）

所以在學習階段每一次的微機器學習的計算復雜度是線性的,，而需要進行w次的學習的計算復雜度嚴格講應該是O3,。

再定義各層的節(jié)點Nzph，在輸入層p＝1,，所以Nz1h有輸入層節(jié)點：

N111,，N112，…,，N11k

N211,，N212，…,，N21k

…,，

Nw11，Nw12,，…,，Nw1k

（公式2）

同樣，第二次學習的輸入層節(jié)點到隱藏層節(jié)點之間也需要進行學習的微機器學習為MLph,，在這一層只有一種數(shù)據(jù),，所以不存在w次的數(shù)據(jù)，隱藏層p＝2,，所以ML2h有

ML21,，ML22，…,，ML2k

（公式3）

同樣,，在隱藏層即神經(jīng)層的節(jié)點只有一種數(shù)據(jù)，所以不存在w次的數(shù)據(jù),，隱藏層p＝2,，所以N2h有輸入層節(jié)點：

N21，N22,，…,，N2k

（公式4）

同樣決策層即大腦層p＝3，而且僅存在一個節(jié)點,，所以N3h有輸入層節(jié)點的節(jié)點為N31,。

再對被識別的對象S進行定義，被識別對象S的信息到輸入層之前的微機器學習為MLsph輸入層p＝1,，所以MLs1h有

MLs11,，MLs12，…，MLs1k

（公式5）

同樣,，被識別對象S的信息到輸入層的節(jié)點只有一種數(shù)據(jù)，所以不存在w次的數(shù)據(jù),，輸入層p＝1,，所以N1h有輸入層節(jié)點：

N11，N12,，…,，N1k

（公式6）

被識別對象S的輸入層到隱藏層之間的微機器學習為MLsph隱藏層p＝2，所以MLs2h有：

MLs21,，MLs22,，…，MLs2k

（公式7）

這里先以圖像識別為例說明人工智能超深度學習的神經(jīng)網(wǎng)絡模型的構成方法,，如圖1所示：F表示被學習的圖像,，可將圖像分割成n×m的區(qū)域，可產(chǎn)生Fij（i=1,2,…,n,，j=1,2,…,m）個圖像,，n＋m＝k，被學習對象的每一個區(qū)域對應一個學習層的節(jié)點,，再設每個區(qū)域有g（g=1,2,…,t）個像素,。

將第h（h=1,2,…,k）個區(qū)域中的所有的ｇ個像素的灰度值輸入到第一次微機器學習ML１1h中，學習結果值L１1h送到第一個輸入層的h個節(jié)點N１1h,，第z次被學習的圖像Fz的k個區(qū)域經(jīng)過k×z個微機器學習MLz1h（h=1,2,…,k,，z=1,2,…,w）后，輸入到第一個輸入層的k個節(jié)點上,，針對w次的不同環(huán)境下所得到的被學習的識別圖像Fz（z=1,2,…,w）,，可產(chǎn)生w×h個輸入層的微機器學習數(shù)值Lz1h（h=1,2,…,k，z=1,2,…,w）即：

L111,，L112,，…，L11k

L211,，L212,，…，L21k

…

Lw11,，Lw12,，…，Lw1k

（公式8）

將w個輸入層的每一個節(jié)點Nz1h上的Lz1h再進行第二次微機器學習ML2h,，產(chǎn)生學習值L2h以及最大概率,，或最大測度的尺度，把這個尺度作為觸發(fā)神經(jīng)的閥值T2h，其結果送到隱藏層（p＝2）的k個節(jié)點N2h（h=1,2,…,k）,。

當被識別圖像S的第h（h=1,2,…,k）個區(qū)域,，經(jīng)過機器學習的結果產(chǎn)生學習值LS1h，送到k個節(jié)點N2h,，經(jīng)過計算當｜LS1h－L2h｜≤T2h→“1”,，隱藏層的k個節(jié)點N2h觸發(fā)，輸出“1”的神經(jīng)信號,，否則｜LS1h－L2h｜>T2h→“0”無神經(jīng)信號輸出,。

輸出層即大腦層，通過隱藏層輸出的神經(jīng)信號的多少,，決定大腦的興奮程度,，根據(jù)神經(jīng)元的興奮程度，即隱藏層各個節(jié)點的輸出“1”的個數(shù)決定被識別圖像S是否是所學習的圖像的程度,，可起到頭腦決策的效果,，另外，在具體識別時,，還可以根據(jù)多次的對被識別的圖像的識別,，計算出隱藏層的各個節(jié)點的輸出“1”的概率，可進行自動修正識別參數(shù),，起到自學習的效果,。

這里修正識別算法有兩種方式，一種是計算出隱藏層的各個節(jié)點的輸出“1”的概率,，將隱藏層的各個節(jié)點的輸出值乘以該節(jié)點的概率值,，即設隱藏層的各個節(jié)點的輸出值為NVh（h=1,2,…,k）, 隱藏層的各個節(jié)點的輸出“1”的概率值為P h（h=1,2,…,k），則輸出層的興奮值為

另一種是把被識別的圖像的數(shù)據(jù)重新送入隱藏層作為學習數(shù)據(jù),，重新學習得到新的學習結果,。

上述節(jié)點之間通過微機器學習進行連接，還可以使用統(tǒng)計學的算法,，比如計算平均值和方差,，或是統(tǒng)計學的其他算法，以及機器學習的其它算法等等的方法,，達到上述定義的超深度學習的構成方法,，均屬于本發(fā)明的范圍之內。

圖2是實際人工智能超深度學習模型的構成示意圖,。

上述,，在圖像學習時采用了通過w次的圖像采集，產(chǎn)生了F1, F2, …,Fw個圖像,，針對Fz（z=1,2,…w）個圖像,，通過MLz1h（h=1,2,…,k,，z=1,2,…w）的h×w個微機器學習，把學習結果Lz1h（h=1,2,…,k,，z=1,2,…w）分別送到w個輸入層P1, P2, …,Pw的各個節(jié)點Nz1h（h=1,2,…,k,，z=1,2,…w），再由輸入層通過ML2h（h=1,2,…,k）個微機器學習產(chǎn)生（L2h,，T2h）（h=1,2,…,k）,。

如圖2所示：上述在學習時所產(chǎn)生的F1, F2, …,Fw個圖像是反復通過對應F圖像k的小區(qū)的k個微機器學習ML1h（h=1,2,…,k），得到w回的學習結果

L1h（h=1,2,…,k）分別送到輸入層的各個節(jié)點N1h（h=1,2,…,k）,，微機器學習ML2h（h=1,2,…,k）的輸入端把輸入層的h節(jié)點N1h得到的w個數(shù)據(jù)進行微機器學習得到（L2h，T2h）（h=1,2,…,k）k個神經(jīng)網(wǎng)絡的學習值和閥值,，作為神經(jīng)層的輸出“1”的判斷依據(jù),，節(jié)點N2h，經(jīng)過計算當｜LS1h－L2h｜≤T2h→“1”,，神經(jīng)層的h節(jié)點N2h觸發(fā),，輸出“1”的神經(jīng)信號，否則｜LS1h－L2h｜>T2h→“0”無神經(jīng)信號輸出,。

輸出層即大腦層同上述相同,，通過隱藏層輸出的神經(jīng)信號的多少，決定大腦的興奮程度,，根據(jù)神經(jīng)元的興奮程度,，即隱藏層各個節(jié)點的輸出“1”的個數(shù)決定被識別圖像S是否是所學習的圖像的程度，可起到頭腦決策的效果,。