一、马氏链的定义二、齐次马氏链（时齐马氏链）定义三、一步转移概率矩阵的确定四、状态传递图与概率转移图一、马尔可夫的定义1.参数集为离散集，状态集亦为离散集的马氏过程谓之马尔可夫链。此时参数集常当作为时间集，即取T={0,1,2,…},其中t=0称为初始时刻，且其状态集E为简单计数，常取作:整数集E1={0,±1,±2,…};正整数的子集E2={0,1,2,…};整数子集E3={i0,i1,i2,…};有限子集E4={0,1,2,…,n}。定义1设{X(n),n≥0}为一随机序列，其状态