隱馬爾科夫模型HMM(Hidden Markov Model)

對(duì)HMM的概念和應(yīng)用有了一個(gè)初步的了解,。

1、什么是隱馬爾科夫模

為了尋找某一事物在一段時(shí)間內(nèi)的變化規(guī)律,，分析一個(gè)系統(tǒng),，希望預(yù)測(cè)的狀態(tài)是隱藏在表象之后的，并不是我們觀(guān)察到的現(xiàn)象,。比如,，通過(guò)觀(guān)察植物海藻的表象來(lái)觀(guān)測(cè)天氣的變化狀態(tài)。這里存在兩個(gè)狀態(tài),，觀(guān)察狀態(tài)（海藻的狀態(tài)）,，隱狀態(tài)（天氣的狀態(tài)）。馬爾科夫過(guò)程是當(dāng)前的狀態(tài)只與前n個(gè)狀態(tài)有關(guān),。這被稱(chēng)作n階馬爾科夫模型,。最簡(jiǎn)單的模型就當(dāng)n=1時(shí)的一階模型。就當(dāng)前的狀態(tài)只與前一狀態(tài)有關(guān),。

2,、馬爾可夫模型的應(yīng)用

把隱馬爾科夫模型應(yīng)用于語(yǔ)音識(shí)別。就是如何通過(guò)給出的語(yǔ)音信號(hào)預(yù)測(cè)出原來(lái)的文字信息,。在這里,，語(yǔ)音信號(hào)就是觀(guān)察狀態(tài)，識(shí)別出的文字就是隱含狀態(tài),。

隱馬爾科夫模型在計(jì)算語(yǔ)言學(xué)中有著廣泛的應(yīng)用,。例如隱馬爾科夫模型在詞類(lèi)自動(dòng)標(biāo)注中的應(yīng)用。

隱馬爾可夫過(guò)程是一個(gè)雙重隨機(jī)過(guò)程,，其中一重隨機(jī)過(guò)程不能直接觀(guān)察到,，通過(guò)狀態(tài)轉(zhuǎn)移概率矩陣描述。另一重隨機(jī)過(guò)程輸出可以觀(guān)察的觀(guān)察符號(hào),，這由輸出概率來(lái)定義,。

3、隱馬爾科夫主要有三個(gè)作用

(1)  （估算問(wèn)題）給定觀(guān)察序列O= 

 如何有效地計(jì)算出觀(guān)察序列的概率

(2)  （解碼問(wèn)題）給定觀(guān)察序列O= ,如何尋找一個(gè)狀態(tài)轉(zhuǎn)換序列q=  使得該狀態(tài)轉(zhuǎn)換序列最有可能產(chǎn)生上述觀(guān)察序列,。

(3)  在模型參數(shù)未知或不準(zhǔn)確的情況下,，如何根據(jù)序列O=  求得模型參數(shù)或調(diào)整模型參數(shù),，即如何確定一組模型參數(shù)，使得觀(guān)察序列的概率最大,？

4,、HMM模型是一個(gè)五元組模型 ( S, V, A, B, π )。

S是一組隱狀態(tài)的集合;（比如：天氣（晴,，多云,，陰））

V是一組觀(guān)察狀態(tài)的集合;（比如：海藻（濕，干））

A是隱狀態(tài)之間的轉(zhuǎn)移矩陣N行N列;（一階馬爾可夫模型的當(dāng)前狀態(tài)只與前一狀態(tài)有關(guān)）

B是混淆矩陣,，是隱狀態(tài)與觀(guān)察狀態(tài)之間關(guān)系的概率

Π是初始隱狀態(tài)的概率

最終得到隱馬爾科夫鏈的概率      

舉例,。

狀態(tài)轉(zhuǎn)移矩陣

混淆矩陣

初始概率

估計(jì)“潮濕”－“微干”－“干旱”出現(xiàn)的概率：

第一天潮濕,，各個(gè)天氣狀態(tài)所對(duì)應(yīng)的海藻的狀態(tài)的概率：

A1(晴)=0.63*0.6=0.378

A1(多云)=0.17*0.25=0.0425,；

       A1(陰)=0.2*0.05=0.01；

第二天微干,，

A2(晴)=0.15*（0.5*0.378+0.375*0.0425+0.01*0.125）=0.030928125

A2(多云)=0.25*（0.25*0.378+0.125*0.0425+0.675*0.01）=0.026640625

A2(陰)=0.35*（0.25*0.378+0.375*0.0425+0.01*0.375）=0.039965625

第三天：干旱,，

A3(晴)=0.05*（0.5*0.030928125+0.375*0.026640625+0.039965625

*0.125）=0.001525

A3(多云)=0.25*（0.25*0.030928125+0.125*0.026640625+0.039965625

*0.675）=0.0095

A3(陰)=0. 5*（0.25*0.030928125+0.375*0.026640625+0.039965625

*0.375）=0.01635

“潮濕”－“微干”－“干旱”出現(xiàn)的概率=0.001525+0.0095+0.01635=0.027375

6、馬爾可夫模型解碼問(wèn)題---向后算法(Backward Algorithm)

向后算法

根據(jù)一個(gè)給定的HMM模型,，根據(jù)觀(guān)察狀態(tài)序列找到產(chǎn)生這一序列的潛在的隱含狀態(tài)序列,。

觀(guān)察狀態(tài)為“潮濕”－“微干”－“干旱”的情況下海藻的狀態(tài)組合最可能是哪種組合？

最初的狀態(tài)第一天潮濕的路徑

A1(晴)=0.63*0.6=0.378

A1(多云)=0.17*0.25=0.0425,；

A1(陰)=0.2*0.05=0.01,；

此時(shí)最優(yōu)路徑為晴

第二天微干，

A2(晴)=0.15* max [（0.5*0.378）,(0.375*0.0425),0.01*0.125）]=0.02835

A2(多云)=0.25*max[（0.25*0.378）,(0.125*0.0425),(0.675*0.01)]=0.023625

A2(陰)=0.35*max[（0.25*0.378）,(0.375*0.0425),(0.01*0.375）]=0.033075

此時(shí)最優(yōu)路徑為陰

第三天：干旱,，

A3(晴)=0.05* max [（0.5*0.02835）,(0.375*0.023625),( 0.033075*0.125）]

=0.00070875

A3(多云)=0. 25*max[（0.25*0.02835）,(0.125*0.023625),(0.675*0.033075)]

=0.0055814625

A3(陰)=0. 5*max[（0.25*0.02835）,(0.375*0.023625),( 0.033075*0.375）]

=0.0062015625

此時(shí)最優(yōu)路徑為陰

所以觀(guān)察狀態(tài)為“潮濕”－“微干”－“干旱”的情況下海藻的狀態(tài)組合最可能是“晴”－“陰”－“陰”,。