|
馬爾可夫鏈出現(xiàn)在許多領(lǐng)域，如物理,、遺傳學(xué),、金融，還有數(shù)據(jù)科學(xué)和機器學(xué)習(xí),。它是自然語言處理和強化學(xué)習(xí)中的一個典型的統(tǒng)計技術(shù),。在本文中，我們將簡單地解釋什么是馬爾可夫鏈,。對于任何馬爾可夫的建模過程,，它必須滿足馬爾可夫性質(zhì)。這個性質(zhì)表示下一個狀態(tài)的概率僅取決于當(dāng)前狀態(tài)（與當(dāng)前狀態(tài)之前的一切都是無關(guān)的）,。換句話說,，整個系統(tǒng)是“完全無記憶”的。其中n為時間步長參數(shù),，X為在給定狀態(tài)空間s中取某一值的隨機變量。狀態(tài)空間是指一個事件的所有可能結(jié)果,。例如,，一枚硬幣在其狀態(tài)空間中有兩個值：s = {正，反},，從一種狀態(tài)轉(zhuǎn)換到另一種狀態(tài)的概率是0.5,。使用馬爾可夫性質(zhì)的過程稱為馬爾可夫過程。如果狀態(tài)空間是有限的,，我們使用離散時間步,，這個過程被稱為馬爾可夫鏈。換句話說,，它是一個隨機變量序列在給定的狀態(tài)空間中呈現(xiàn)的各種狀態(tài),。在本文中，我們將討論時間齊次離散時間馬爾科夫鏈,，因為它們是最容易使用和理解的,。非齊次時間馬爾可夫鏈狀態(tài)間的轉(zhuǎn)移概率不固定，且隨時間變化,。下面是一個帶有狀態(tài)空間{A,，B，C}的馬爾可夫鏈的例子,。箭頭上的數(shù)字表示在這兩種狀態(tài)之間轉(zhuǎn)換的概率,。例如，如果想從狀態(tài)B到狀態(tài)C,，那么這個轉(zhuǎn)變的概率是20%,。從數(shù)學(xué)上講，我們可以得出如下結(jié)論：我們可以通過構(gòu)造給定馬爾可夫鏈的概率轉(zhuǎn)換矩陣來簡化這些轉(zhuǎn)換,。轉(zhuǎn)換矩陣有i行和j列,，因此i，j的索引值給出了從i到j(luò)的轉(zhuǎn)換概率為：在這篇文章中,，我簡單介紹了馬爾可夫性質(zhì)和概念,，并利用這個概念來構(gòu)造和理解一個基本的馬爾可夫鏈。這個隨機過程出現(xiàn)在數(shù)據(jù)科學(xué)和機器學(xué)習(xí)的許多方面,，所以熟悉它是很有必要的,。
|
