《信息论与编码》PPT课件.ppt

1、信息率失真函数,第4章,2,4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算,内容,3,失真 信道编码定理欲无失真，必 R C，必失真 失真必要性 连续信源R趋向于无穷大，必有失真 压缩亦有失真 失真可能性终端性能有限，如人眼,人耳 研究：信息率允许失真信息率失真理论,4,4.1 平均失真和信息率失真函数,5,4.1.1 失真函数,假如某一信源X,输出样值xi , xia1,a2,an,经信道传输后变成yj , yj b1, b2,bm,如果: xi yj 没有失真 xi yj 产生失真 失真的大小,用一个量来表示,即失真函数d(xi,yj),以衡量用yj代替xi所引

2、起的失真程度。 失真函数定义为：,6,失真函数,将所有的d(xi,yj)排列起来,用矩阵表示为:,失真矩阵,例：设信源符号序列为X=0,1,接收端收到符号序列为Y= 0,1,2,规定失真函数为 d(0,0)d(1,1)= 0 d(0,1)d(1,0)= 1 d(0,2)d(1,2)= 0.5,失真矩阵,7,失真函数形式可以根据需要任意选取,最常用的有:,均方失真:,绝对失真:,相对失真:,误码失真: (汉明失真函数),适于连续信源,适于离散信源,失真函数,8,汉明失真矩阵,对于二元对称信源(m=n),X=0,1,Y=0,1,汉明失真矩阵:,9,4.1.2 平均失真,将失真函数的数学期望称为平均

3、失真：,失真函数d(xi,yj)： 描述了某个信源符号通过传输后失真的大小 平均失真 ： 描述某个信源在某一试验信道传输下的失真大小,它对信源和信道进行了统计平均,是从总体上描述整个系统的失真,10,对于连续随机变量同样可以定义平均失真,信源编码器,11,L长序列编码,如果假定离散信源输出符号序列XX1X2 Xl XL,其中L长符号序列xi =xi1xi2xiL,经信源编码后,输出符号序列Y=Y1Y2YlYL,其中L长符号序列yj=yj1yj2yjL ,则失真函数定义为,平均失真,12,4.1.3 信息率失真函数R(D),13,4.1.3 信息率失真函数R(D),无论是无噪信道还是有噪信道:

4、RC 总能找到一种编码使在信道上能以任意小的错误概率,以任意接近C的传输率来传送信息 RC 就必须对信源压缩,使其压缩后信息传输率R小于信道容量C,但同时要保证压缩所引入的失真不超过预先规定的限度。 信息压缩问题就是对于给定的信源,在满足平均失真 的前提下,使信息率尽可能小。,14,信息率失真函数R(D),若平均失真度 不大于我们所允许的失真,即,则称此为保真度准则,当信源p(xi)给定,单个符号失真度d(xi, yj) 给定时,选择不同的试验信道p(yj | xi), 相当于不同的编码方法,其所得的平均失真度不同。 假想信道,15,满足 条件的所有转移概率分布pij ,构成了一个信道集合,D

5、失真允许的试验信道： 满足保真度准则的试验信道。 PD： 所有D失真允许的试验信道组成的一个集合。,16,信息率失真函数R(D),R(D)： 在限定失真为D的条件下信源输出的最小信息率。,在信源给定后,我们希望在满足一定失真的情况下,使信源必须传输给收信者的信息传输率R尽可能地小。 若从接收端来看,就是在满足保真度准则下,寻找再现信源消息所必须获得的最低平均信息量。即在满足保真度准则的条件下寻找平均互信息I(X,Y)的最小值。,17,信息率失真函数,PD是所有满足保真度准则的试验信道集合,因而可以在集合PD中寻找某一个信道pij,使I (X,Y)取极小值。 离散无记忆信源,18,例已知编码器输

6、入的概率分布为p(x)=0.5 ,0.5 信道矩阵,求互信息,19,编码器输入的概率分布为p(x)=0.5 ,0.5 信道矩阵,求互信息,可见当p(x)一定时,I (X,Y)随p(yj |xi)而变。 因为p(x)分布一定时,信道受干扰不同所能传递的信息量是不同的。 可以证明，当p(x)一定时,I (X,Y)是关于p(yj|xi)的下凸函数。 因此当改变p(yj|xi)时,I (X,Y)有一极小值。,20,平均互信息,平均互信息I(X;Y)： 信源的概率分布p(xi)的上凸函数。 p(yj|xi)一定 信道传递概率p(yj|xi)的下凸函数。 p(xi)一定,信道容量：,信息率失真函数：,21

7、,率失真函数与信道容量的比较,22,4.1.4 信息率失真函数的性质,1、R(D)的定义域 率失真的定义域问题就是在信源和失真函数已知的情况下,讨论允许平均失真度D的最小和最大取值问题。 由于平均失真度是非负实数d(xi,yj)的数学期望,因此也是非负的实数,即 的下界是0。,允许平均失真度能否达到其下限值0,与单个符号的失真函数有关。,23,R(D)的定义域,Dmin 和R(Dmin) 信源的最小平均失真度：,只有当失真矩阵的每一行至少有一个0元素时,信源的平均失真度才能达到下限值0。 当Dmin = 0,即信源不允许任何失真时,信息率至少应等于信源输出的平均信息量信息熵。即 R(0) =H

8、(X),24,R(D)的定义域,因为实际信道总是有干扰的,其容量有限,要无失真地传送连续信息是不可能的。 当允许有一定失真时,R(D)将为有限值,传送才是可能的。,对于连续信源：,25,R(D)的定义域,R(D)的定义域为Dmin，Dmax 。 通常Dmin = 0， R(Dmin) = H(X) 当 DDmax时, R(D) = 0 当 0 DDmax时, 0R(D) H(X),26,R(D)的定义域,Dmax：定义域的上限。 Dmax是满足R(D)=0时所有的平均失真度中的最小值。,由于I(X,Y)是非负函数,而R(D)是在约束条件下的I(X,Y)的最小值,所以R(D)也是一个非负函数,它

9、的下限值是零。 R(D)0,27,R(D)的定义域,由于I(X,Y) = 0的充要条件是X与Y统计独立,即：,28,例4-3:设输入输出符号表为X=Y=0,1,输入概率分布p(x)=1/3,2/3,失真矩阵,求： Dmin 和Dmax,失真矩阵的每一行至少有一个0元素时, Dmin=0,此时输出符号概率p(b1)0，p(b2)1，,29,例:设输入输出符号表为X=Y=0,1,输入概率分布p(x)=1/3,2/3,失真矩阵,求： Dmin 和Dmax,30,信息率失真函数的性质,1、R(D)是非负的实数, R(D)0。 其定义域为0Dmax , 其值为0H(X)。 当DDmax时,R(D)0 2

10、、R(D)是关于D的下凸函数 R(D)在定义域内是失真度D的U型下凸函数 3、R(D)的单调递减性及连续性 容许的失真度越大，所要求的信息率越小。反之亦然。,31,由以上三点结论，对一般R(D)曲线的形态可以画出来：,32,4.2 离散信源和连续信源R(D)计算,给定信源概率pi和失真函数dij,就可以求得该信源的R(D)函数。 它是在保真度准则下求极小值的问题。 但要得到它的显式表达式,一般比较困难通常用参量表达式。 即使如此,除简单的情况外实际计算还是困难的,只能用迭代逐级逼近的方法。,33,某些特殊情况下R（D）的表示式为： （1）当d(x,y)=(x-y)2， 时，,4.2 离散信源和

11、连续信源R(D)计算,34,(2)当d(x,y)=|x-y|， 时，,(3)当d(x,y)=(x,y)，p(x=0)=p，p(x=1)=1-p时， R(D)=H(p)H(D),35,这些R（D）可画成三条曲线,图4-5 信息率失真函数R(D),36,二元对称信源的R(D)函数,设二元对称信源X=0,1,其概率分布p(x)=p,1-p,接收变量Y=0,1, 失真矩阵,因而最小允许失真度Dmin=0。 并能找到满足该最小失真的试验信道,且是一个无噪无损信道,其信道矩阵为,37,计算得：R(0)=I(X;Y)=H(p) 最大允许失真度为,要达到最大允许失真度的试验信道,唯一确定为,38,这个试验信道能正确传送信