馬可夫鏈 (Markov Chain) 是一種數學模型,是一種用來建立狀態轉換模型的數學工具。它被用於描述具有隨機變化的系統的動態行為,例如天氣、金融市場、語言等。
馬可夫鏈是一種具有馬可夫性質(Markov Property)的隨機過程。所謂馬可夫性質,是指==當前狀態的條件下,未來狀態的機率分佈只取決於當前狀態,而與過去狀態無關==。換言之,馬可夫鏈的狀態轉移只依賴於當前的狀態,而不依賴於過去的狀態。
馬可夫鏈可以用一個狀態轉移矩陣(State Transition Matrix)來描述,該矩陣的元素表示從一個狀態轉移到另一個狀態的概率。
例如,對於一個有限狀態空間 $S={s_1, s_2,\ldots, s_n}$ 的馬可夫鏈,狀態轉移矩陣 $P$ 為:
P = [ p11 p12 ... p1n ]
[ p21 p22 ... p2n ]