第六章离散时间马尔可夫链马尔可夫过程是前苏联数学家A.A.Markov首先提出和研究的一类随机过程.经过世界各国几代数学家的相继努力,至今已成为内容十分丰富,理论上相当完整,应用也十分广泛的一门数学分支.它的应用领域涉及计算机、通讯、自动控制、随机服务、可靠性、生物、经济、管理、气象、物理、化学等.马尔可夫(1856年6月14日——1922年7月20日）马尔可夫对数学的最大贡献是在概率论领域作出的．十九世纪后二十年，他主要是沿着切比雪夫开创的方向，致力于独立随机变量和古典极值理论的研究，从而改进和完善了大数定律和中心极限定理．二十世纪初，他的兴趣转移到相依随