第四章信息率失真函数第1页，共22页，星期日，2025年，2月5日4.1概念和定义在实际应用场合，容许一定程度失真的情况比要求无失真的情况更为重要。信息率失真函数拟解决的问题：信息率和失真之间的关系。信息率失真理论的基本概念：在允许传输消息出现一定的失真时，传输该消息所需要的信息速率（最小值）将比不允许失真时小，且允许的失真愈大，则信息速率（最小值）允许减小的程度也愈大。在给定平均失真函数D的条件下，可以求出信息速率的最小值。第2页，共22页，星期日，2025年，2月5日一、失真函数失真函数d(x,y)表征了接收消息y与发送消息x之间的定量失真度。即：d(x,y)∣x=ai,y=aj＝dij其中，失真函数dij是一个与失真情况相对应的非负实数：0，i＝jdij＝d,d＞0i≠j显然：i＝j时，收发之间无失真，失真函数dij＝0i≠j时，意味着出现了失真，dij值的大小表示这种失真的程度。第3页，共22页，星期日，2025年，2月5日若X集有N个符号，Y集有M个符号时，则联合集上有N×M个不同i、j取值的失真函数。失真函数dij的二种表示方式：（1）矩阵表示法（2）连线表示法平均失真度：失真函数的统计平均值（数学期望）D数学式为：两个L维矢量之间的失真函数为：信源的平均失真度：第4页，共22页，星期日，2025年，2月5日若平均失真度不大于所允许的失真，则称为保真度准则。二、信息率失真函数（率失真函数）当某条件概率P(yj/xi)能使互信息I最小，此时的I就称为在保真度准则下所必须具有的最小信息速率，用R(D)表示。数学式为：R(D)＝minI(X;Y)＝minI(X;Y)其中PD为满足失真条件的转移概率Pji的集合，D为允许的失真。Pji∈PDd≤D第5页，共22页，星期日，2025年，2月5日信息率失真函数R(D)定义：在给定信源消息的概率分布{P(xi)}及平均失真函数允许值D的前提下，传输这些信源消息并使其失真程度在允许范围内时，所需要的信息传输速率的极小值。R(D)反映了信源可以压缩的程度，是在满足一定失真度要求下，信源可压缩的最低值，对不同的信源，R(D)不同。第6页，共22页，星期日，2025年，2月5日例4－1：设信源符号有2n种，且等概，失真函数定义为：dij＝0（i＝j时），dij＝1（i≠j时），允许平均失真D＝1/2，要传送此信源，需要多少信息率？第7页，共22页，星期日，2025年，2月5日课堂练习：设信源具有100个以等概率出现的符号，并以每秒发出1个符号的速率从信源输出，试求在允许失真度D＝0.1的条件下，传输这些符号所需要的信息传输速率的大小。结论：在允许一定失真的条件下，信息传输速率可以减小，同时所需要的信道容量也可以相应地减小，允许的失真度愈大，则信息传输速率可被压缩的程度亦愈大。第8页，共22页，星期日，2025年，2月5日4.2信息率失真函数R(D)的性质一、当D＝0时，R(0)＝H(X)通常Dmin＝0；D＝0时不允许有失真；注意：D是否能达到0，与单个符号的失真函数有关，只有当失真矩阵中每行至少有一个0元素时，D才能达到0值。二、R(Dmax)＝0Dmax是平均失真度的上界值，使平均互信息量等于0时所允许的失真度。注意：D≥Dmax时，R(D)仍为0，R(D)的定义域为（0，Dmax）第9页，共22页，星期日，2025年，2月5日三、在0～Dmax范围内，R(D)是D上的凹函数（下凸函数）四、R(D)是D的单调递减的连续函数如图为R(D)的典型曲线：在连续信源的情况下，R(0)→∞，曲线不与R(D)轴相交。第10页，共22页，星期日，2025年，2月5日4.3离散信源的R(D)函数的计算一、R(D)的参量表达式已知：其中：求R(D)就是求I的极值引入拉氏乘子S和ui，再对Pji求导，并令其为0，即第11页，共22页，星期日，2025年，2月5日几个有用的结果：（1）（2）（3）信息率失真函数参量表达式：第12页，共22页，星期日，2025年，2月5日注意：参变数S是R(D)函数曲线的斜率，即：dR/dD＝S，由于R(D)曲线是单调递减的凹函数曲线，所以该曲线的斜率S为负值，同时，在D从0～Dmax过程中，S值逐渐增大（S的绝对值逐渐减小）。二、二元信源和对称失真函数的R(D)函数信源概率：p1＝p≤1/2，p2＝1－p≥1/2失真函数：