基本信息

---

下载

文档摘要

---

第四章

马尔可夫链1

4.1马尔可夫链与转移概率定义设{X(t)，t?T}为随机过程，若对任意正整数n及t1t2?tn，P{X(t1)=x1,?,X(tn-1)=xn-1}0，且条件分布P{X(tn)?xn|X(t1)=x1,?,X(tn-1)=xn-1}=P{X(tn)?xn|X(tn-1)=xn-1}，则称{X(t)，t?T}为马尔可夫过程。☆若t1,t2,?,tn-2表达过去，tn-1表达目前，tn表达将来，马尔可夫过程表白：在已知目前状态旳条件下，将来所处旳状态与过去状态无关。2

4.1马尔可夫链与转移概率马尔可夫过程一般分为三类：(