人工神經(jīng)網(wǎng)絡(luò)

人腦具有高度智能的復(fù)雜系統(tǒng),，它不必采用繁復(fù)的數(shù)字計(jì)算和邏輯運(yùn)算，卻能靈活處理各種復(fù)雜的,，不精確的和模糊的信息,。人腦的信息處理機(jī)制極其復(fù)雜，從結(jié)構(gòu)上看它是包含有140億神經(jīng)細(xì)胞的大規(guī)模神經(jīng)網(wǎng)絡(luò),。單個(gè)神經(jīng)元細(xì)胞的工作速度并不高（毫秒級(jí)）,，但它通過(guò)超并行處理使得整個(gè)系統(tǒng)實(shí)現(xiàn)處理的高速性和信息表現(xiàn)的多樣性。

每個(gè)神經(jīng)元都包括三個(gè)主要部分：樹(shù)突,、細(xì)胞體和軸突,。樹(shù)突的作用是向四方收集由其他神經(jīng)細(xì)胞傳來(lái)的信息。細(xì)胞體是神經(jīng)元接受與處理信息的部件,。軸突的功能是傳出從細(xì)胞體送來(lái)的信息,。在兩個(gè)神經(jīng)細(xì)胞之間的相互連接觸點(diǎn)稱(chēng)為突觸。

每個(gè)神經(jīng)元具有興奮和抑制兩種狀態(tài)，只有當(dāng)所有外來(lái)刺激（輸入）作用之和超過(guò)某一閥值后,，神經(jīng)元由抑制變?yōu)榕d奮,，并輸出電脈沖。神經(jīng)元之間連接的強(qiáng)弱可隨外部的激勵(lì)信號(hào)自適應(yīng)地變化,。這就是一般神經(jīng)網(wǎng)絡(luò)建模的生物依據(jù),。

人工神經(jīng)網(wǎng)絡(luò)（Artificial Neutral Networks,簡(jiǎn)稱(chēng)ANN）是由大量簡(jiǎn)單的基本元件——神經(jīng)元相互連接，模擬人的大腦神經(jīng)處理信息的方式,，進(jìn)行信息并行處理和非線性轉(zhuǎn)換的復(fù)雜網(wǎng)絡(luò)系統(tǒng),。人工神經(jīng)網(wǎng)絡(luò)的基本單元的神經(jīng)元模型，它有四個(gè)基本要素：

（1）一個(gè)求和單元,，用于求取各輸入信號(hào)的加權(quán)和（線性組合）,。

（2）每個(gè)神經(jīng)元有一個(gè)閾值。

（3）一組連接（對(duì)應(yīng)于生物神經(jīng)元的突觸）,，連接強(qiáng)度有個(gè)連接上的權(quán)值表示,，權(quán)值為正表示激活，為負(fù)表示抑制,。

（4）一個(gè)激活函數(shù),，起映射作用并將神經(jīng)元輸出幅度限制在一定范圍內(nèi)。

首先構(gòu)筑合適的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),，固定處理單元（神經(jīng)元）的數(shù)目,，然后通過(guò)信息樣本對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，不斷改變處理單元間的連接強(qiáng)度對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,，使 其具有人的大腦的記憶、辨識(shí)能力,，完成各種信息的處理功能,。人工神經(jīng)網(wǎng)絡(luò)具有良好的自學(xué)習(xí)、自適應(yīng),、聯(lián)想記憶,、并行處理和非線形轉(zhuǎn)換的能力，避免了復(fù)雜數(shù) 學(xué)推導(dǎo),，在樣本缺損和參數(shù)漂移的情況下,，仍能保證穩(wěn)定的輸出。神經(jīng)網(wǎng)絡(luò)除在模式識(shí)別,、非線性動(dòng)態(tài)處理及自動(dòng)控制等領(lǐng)域顯示出極強(qiáng)的生命力外,，還在預(yù)測(cè)、評(píng) 價(jià)等方面取得了很好的應(yīng)用效果,。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則可以粗略分成3類(lèi),，這些類(lèi)別分別如下：

第一類(lèi)學(xué)習(xí)規(guī)則稱(chēng)相關(guān)學(xué)習(xí)規(guī)則。這種規(guī)則只根據(jù)連接間的激活水平改變權(quán)系數(shù)。常用于自聯(lián)想網(wǎng)絡(luò),，如Hopfield網(wǎng)絡(luò),。

第二類(lèi)學(xué)習(xí)規(guī)則稱(chēng)糾錯(cuò)學(xué)習(xí)規(guī)則。這種規(guī)則根據(jù)輸出節(jié)點(diǎn)的外部反饋改變權(quán)系數(shù),。在方法上它和梯度下降法等效,，按局部改善最大的方向一步步進(jìn)行優(yōu)化，從而最終找到全局優(yōu)化值,。感知器學(xué)習(xí)就采用這種糾錯(cuò)學(xué)習(xí)規(guī)則．例如BP算法,。用于統(tǒng)計(jì)性算法的模擬退火算法也屬于這種學(xué)習(xí)規(guī)則。

第三類(lèi)學(xué)習(xí)規(guī)則稱(chēng)無(wú)教師學(xué)習(xí)規(guī)則,。它是一種對(duì)輸入測(cè)檢進(jìn)行自適應(yīng)的學(xué)習(xí)規(guī)則,。ART網(wǎng)絡(luò)的自組織學(xué)習(xí)算法即屬于這一類(lèi)。

人工神經(jīng)網(wǎng)絡(luò)的實(shí)質(zhì)反映了輸入轉(zhuǎn)化為輸出的一種數(shù)學(xué)表達(dá)式,，這種數(shù)學(xué)關(guān)系是由網(wǎng)絡(luò)的結(jié)構(gòu)確定的,。一般而言, ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越, 只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問(wèn)題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷,、特征提取和預(yù)測(cè)等問(wèn)題,ANN往往是最有利的工具,。另一方面, ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問(wèn)題, 表現(xiàn)出極大的靈活性和自適應(yīng)性。

人工神經(jīng)網(wǎng)絡(luò)模型有許多種,，目前應(yīng)用最多的還是Rumelhart等提出誤差反向傳播模型(Error Back Propagation),稱(chēng)BP模型,，采用最小均方差學(xué)習(xí)方式。BP網(wǎng)路需有教師訓(xùn)練,。

輸 入的樣本從輸入層經(jīng)過(guò)隱單元一層一層進(jìn)行處理,，通過(guò)所有的隱層之后，則傳向輸出層,；在逐層處理的過(guò)程中,，每一層神經(jīng)元的狀態(tài)只對(duì)下一層神經(jīng)元的狀態(tài)產(chǎn)生影 響。在輸出層把現(xiàn)行輸出和期望輸出進(jìn)行比較,，如果現(xiàn)行輸出不等于期望輸出,，則進(jìn)入反向傳播過(guò)程。反向傳播時(shí),，把誤差信號(hào)按原來(lái)正向傳播的通路反向傳回,，并 對(duì)每個(gè)隱層的各個(gè)神經(jīng)元的權(quán)系數(shù)進(jìn)行修改。然后再轉(zhuǎn)向正向傳播過(guò)程,，隨著模式正向傳播和誤差反向傳播的反復(fù)交替,，網(wǎng)絡(luò)得到了記憶訓(xùn)練,當(dāng)網(wǎng)絡(luò)的全局誤差小于給定的值后學(xué)習(xí)終止，即可得到收斂的網(wǎng)絡(luò)和相應(yīng)穩(wěn)定的權(quán)值,。網(wǎng)絡(luò)學(xué)習(xí)過(guò)程實(shí)際就是建立輸入模式到輸出模式的一個(gè)映射,，也就是建立一個(gè)輸入與輸出關(guān)系的數(shù)學(xué)模型.

X_i(t+1)=f_i[u_i(t+1)]

BP網(wǎng)絡(luò)建模特點(diǎn)：

•         非線性映照能力：神經(jīng)網(wǎng)絡(luò)能以任意精度逼近任何非線性連續(xù)函數(shù),。在建模過(guò)程中的許多問(wèn)題正是具有高度的非線性。

•             并行分布處理方式：在神經(jīng)網(wǎng)絡(luò)中信息是分布儲(chǔ)存和并行處理的,，這使它具有很強(qiáng)的容錯(cuò)性和很快的處理速度,。

•             自學(xué)習(xí)和自適應(yīng)能力：神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)，能從輸入,、輸出的數(shù)據(jù)中提取出規(guī)律性的知識(shí),，記憶于網(wǎng)絡(luò)的權(quán)值中，并具有泛化能力,，即將這組權(quán)值應(yīng)用于一般情形的能力,。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)也可以在線進(jìn)行。

•         數(shù)據(jù)融合的能力：神經(jīng)網(wǎng)絡(luò)可以同時(shí)處理定量信息和定性信息,，因此它可以利用傳統(tǒng)的工程技術(shù)（數(shù)值運(yùn)算）和人工智能技術(shù)（符號(hào)處理）,。

•         多變量系統(tǒng)：神經(jīng)網(wǎng)絡(luò)的輸入和輸出變量的數(shù)目是任意的，對(duì)單變量系統(tǒng)與多變量系統(tǒng)提供了一種通用的描述方式,，不必考慮各子系統(tǒng)間的解耦問(wèn)題