限失真信源编码定理和多用户信息论第九讲

91 信息率失真函数 92 限失真信源编码定理 93 相关信源编码 94 多址接入信道和广播信道,第九讲,限失真信源编码定理 与多用户信息论,91 信息率失真函数,实际通信系统当中，实现完全无失真的代价较大，设备昂贵，并且对于连续信源，要求绝对熵无限大，要求信息率无限大，这也是不可能的；另一方面，我们有时并不需要完全无失真的信息传输，而可以在一定的误差之下，保证一定的失真度的条件下，进行信息传输。（人的眼和耳有一定的感受范围）,随着科学技术的发展，数字系统得到了广泛应用，也就带来传送、存储和处理大量的数据。例如在数字通信系统中，普通电话的数码率为64kbit/秒，可视电话的数码率为8.448Mbit/s。数字电视的传输率约为100Mbit/s。,要求在保证一定质量（保真度）地条件下近似地再现原来的信息，也就是允许有一定的错误存在，这就是信息压缩。在允许一定的失真条件下，能够把信源信息压缩到什么程度，即最少需要多少比特数才能描述信源，也就是在允许一定程度失真条件下，如何快速地传递消息？这就是信息率失真理论研究的问题。它是量化、数模转换、频带压缩和数据压缩的理论基础。 信息率失真函数R(D)就是在允许一定的失真度D的条件下最小的信息传输率。限失真信源编码定理（香农第三定理）就是说：只要信息率 R 大于 R(D)，就一定存在一种编码，以使译码后的失真小于 D。,1、失真函数（失真度）,设离散无记忆信源，信源变量,通过信道传送到接收端的接受变量,对于每一对（u，v），定义 单符号失真度 为,共有 r s 个，为失真矩阵,我们可以定义：,信源,信源编码,信道编码,信源编码,信道译码,信道,信宿,干扰,广义干扰信道,v,u,平均失真,因为 都是随机量，则平均失真: （对应变量之间的）,设有信源输出离散随机变量序列,令译码输出为,序列的失真度为：,平均失真为：,信道与信源都是无记忆的情况：,保真度准则：对于允许的失真 D,因为信源特性和单个符号的失真函数为已知，编码不同相当于 不同。有失真信源编码问题就是从满足 的所有编码方式或所有 中选择一种使信息率为最小。用 表示满足条件的 全体，信息率失真函数R(D)为,2、信息率失真函数,如果我们要求平均失真小于某个定值D，即,它表示在 下信源必须传输的最小平均信息量。,R(D),Dmax,H(X),D,离散源,连续源,R(D)的性质：,信息率失真函数理论属于信源编码问题： 试验信道,R(D)的计算：求极值。,是D的单调减函数。,拉格朗日算子法,92 限失真信源编码定理,离散无记忆信源的限失真编码定理 (香农第三定理): 若一离散无记忆平稳信源的率失真函数是R(D)，则当信息率R R(D)时，只要信源序列长度L足够长，一定存在一种编码方式C，其译码失真小于或等于D，为任意小的正数。反之，若R R(D)，则无论用什么编码方式，其译码失真必大于D。,（失真典型序列）,限失真信源编码方法：预测法、变换法、,93 相关信源编码,多用户信息论（网络信息论）： 当信息系统涉及三个或更多个用户时构成的通信系统。,前面研究的是只有一个信源和一个信宿的单向通信的单用户通信系统。随着空间通信、通信网和计算机网的发展，信息论的研究已从单用户通信系统发展到网络通信系统。,实际通信系统例如电话交换网、广播网、计算机网等都是网络通信系统。该系统的输入端涉及到两个或两个以上的信源，或者输出端涉及到两个或两个以上的信宿（终端或用户）。随着互联网、卫星通信、光纤通信、移动通信的发展，通信范围越来越大。这些通信网都是复杂的信息流通系统，信息是在众多用户和方向中流通的。怎样在这些网络通信中有效和可靠的传递信息，就是网络信息论（多用户信息论）所研究的问题 。,IEEE Transaction on Information Theory,边信息： 提供给 ，或者 提供 给的信息。,相关信源独立编码定理： 对于任意离散无记忆信源，所有的可达速率对满足,信源1,信源2,信源编码器1,信源编码器2,译码器,U1l,U2l,R1,R2,U1l,U2l,也就是一种互信息。已知 时已经提供了一些关于 的信息，因此只要获得大于 的信息量就可以完全确定 。 是疑义度，已知 后关于 的剩余信息量，所以边信息就是互信息。只不过原来用于编码器、信道的输入输出，现在用于并行处理。,R2,H(S2),H(S1S2),可达速率域R,R1+R2=H(S1S2),R1,H(S2|S1),H(S1|S2),H(S1),H(S1S2),94 多址接入信道和广播信道,多址接入信道就是多个不同信源的信息经过几个编码器后送入同一个信道传送，收端仅仅由一个译码器译出不同信源的信息，送给不同的信宿。从信道来看，它是多输入单输出信道。,广播信道就是有一个发端和多个收端的信道。,译码器,信道,X2,XM,X1,Y,信源1,信源2,信源3,编码器2,编码器1,编码器3,U1,U2,UM,U2,U1,UM,多址接入信道,卫星通信的上行线路,信 道,信源1,信源2,信源3,U1,U2,UM,编码器,X,译码器1,译码器1,译码器1,Y2,YM,Y1,U2,U1,UM,广播信道,卫星通信的下行线路,信源1,信源2,编码器1,编码器2,信源M,编码器M,信 道,译码器T,译码器2,译码器1,X1,X2,U11,U12,U21,U22,多用户通信网,信源1,信源2,编码器2,编码器1,信 道,译码器,U1,U2,X1,X2,Y,定理：具有两个发射端 的多址接入信道的容量区域， 由满足下述的范围给定：,R2,I(X2;Y|X1),R1,I(X1X2;Y),I(X1X2;Y),I(X1;Y),I(X2;Y),I(X