信息论教学课件信道容量

1、对称离散信道的信道容量准对称信道的信道容量Copyright齐鲁小面包.200903 八月 2022延边大学 计算机科学与技术学科13.4.2 对称离散信道的信道容量03 八月 2022延边大学 计算机科学与技术学科2对称离散信道的定义对称离散信道容量对称离散信道容量计算实例强对称离散信道强对称离散信道容量计算实例二元对称信道1、对称离散信道的定义3对称离散信道：对称性:每一行都是由同一集p1, p2,ps的诸元素不同排列组成输入对称；每一列都是由q1, q2,qr集的诸元素不同排列组成输出对称。满足对称性,所对应的信道是对称离散信道。03 八月 2022延边大学 计算机科学与技术学科信道矩阵

2、 1、对称离散信道的定义（续）4信道矩阵 输入对称输出不对称，不具有对称性,因而所对应的信道不是对称离散信道。 03 八月 2022延边大学 计算机科学与技术学科2、对称离散信道容量5信道容量： I(X;Y)是输入随机变量X的概率分布P(x)的上凸函数。因此对于一个固定的信道，总存在一种信源（某种概率分布P(x)），使传输每个符号平均获得的信息量最大，也就是每个固定信道都有一个最大的信息传输率，就是信道容量C。 即：信道容量是描述某一固定信道特性的参量，是信道（每个符号平均）能够传输的最大信息量。03 八月 2022延边大学 计算机科学与技术学科03 八月 2022延边大学 计算机科学与技术学

3、科6对称离散信道的平均互信息： 平均互信息就是收到符号Y后平均每个符号获得的关于X的信息量。I(X;Y)=H(X)-H(X|Y)/接收到输出Y的前后，关于X的平均不确定性的消除量；I(X;Y)=H(X)+H(Y)-H(XY)/信源X与输出信源Y的总平均不确定性与XY联合平均不确定性之差；I(X;Y)=H(Y)-H(Y|X)/发X前后，关于Y的平均不确定性的消除量；2、对称离散信道容量03 八月 2022延边大学 计算机科学与技术学科7采用平均互信息的第种表达方式求信道容量：2、对称离散信道容量信道传递概率，即输入为x，通过信道传输输出y的概率，即前向概率。2、对称离散信道容量这一项是固定 时对

4、Y求和，即对信道矩阵的行求和。由于信道的对称性，所以 与x无关，为一常数，即：由此得：可得信道容量：803 八月 2022延边大学 计算机科学与技术学科这就变换成求一种输入分布P(x)使H(Y)取最大值的问题了。现在已知输出Y的符号集共有s个符号，则H(Y)logs。只有当P(y)=1/s（等概率分布）时，H(Y)才能达到最大值logs。一般情况下，不一定在一种输入符号的概率分布P(x)，能使输出符号达到等概率分布。但对于对称离散信道，其信道矩阵中每一列都是由同一个q1,q2，qr集的诸元素的不同排列组成，所以保证了当输入符号是等概率的分布，即P(x)=1/r时，输出符号Y一定也是等概率分布，

5、这时H(Y) =logs。2、对称离散信道容量903 八月 2022延边大学 计算机科学与技术学科即：上式中，第二个等号是假设输入符号是等概率分布。 是信道矩阵中第一列各元素之和， 是信道矩阵中第i列各元素之和。2、对称离散信道容量1003 八月 2022延边大学 计算机科学与技术学科2、对称离散信道容量由于信道矩阵的对称性，所以由上式可得：对于对称离散信道，当输入符号X达到等概率分布，则输出符号Y一定也达到等概率分布。1103 八月 2022延边大学 计算机科学与技术学科2、对称离散信道容量12对称离散信道的容量公式： 上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量

6、p1, p2,ps 和输出符号集的个数s有关。03 八月 2022延边大学 计算机科学与技术学科3、对称离散信道容量计算实例（3.5）13例3.5：某对称离散信道的信道矩阵为： 信道容量为： 03 八月 2022延边大学 计算机科学与技术学科4、强对称离散信道14若输入符号和输出符号个数相同，都等于r，并且这类信道中总的错误概率是P，对称平均地分配给(r-1)个输出符号。信道矩阵为(rr)阶对称矩阵。此信道称为强对称信道 (均匀信道)信道矩阵中各列之和也等于1 03 八月 2022延边大学 计算机科学与技术学科5、强对称离散信道容量计算实例（3.6）例3.6：强对称信道（均匀信道）的信道矩阵是

7、rr阶矩阵：求此强对称信道的信道容量？1503 八月 2022延边大学 计算机科学与技术学科5、强对称离散信道容量计算实例（3.6）续解：式中p是总的错误传递概率，1-p是正确传递概率。1603 八月 2022延边大学 计算机科学与技术学科6、二元对称信道 二元对称信道其实就是r=2的均匀信道，根据上述例题3.6的结果：可计算得信道容量为： （比特/符号） 此结论与3.68一致。 1703 八月 2022延边大学 计算机科学与技术学科6、二元对称信道（续）03 八月 2022延边大学 计算机科学与技术学科18若当p=1/2的二元对称信道，根据式3.68 C=1-H(P)计算得，其信道容量C=0

8、。可以看出，此时不管输入概率分布如何，都能达到信道容量。因为任何的输入概率分布P(x)都使输出概率分布P(y)为等概率分布，而信道噪声熵H(Y|X)又等于H(1/2)，所以任何输入分布都使平均互信息等于零，达到信道容量。说明此信道输入端不能传递任何信息到输出端。所以说这种信道是没有任何实际意义的，但它在理论上恰好说明信道的最佳输入分布不一定是惟一的。3.4.3 准对称信道的信道容量03 八月 2022延边大学 计算机科学与技术学科19准对称信道定义准对称信道容量准对称信道容量计算实例1、准对称信道定义03 八月 2022延边大学 计算机科学与技术学科20准对称信道:转移概率矩阵Q是输入对称而输

9、出不对称。将信道矩阵Q的列划分成若干个互不相交的子集Bk,由Bk为列组成的矩阵Qk是对称矩阵。 所以P1所对应的信道为准对称信道。02、准对称信道矩阵的特点03 八月 2022延边大学 计算机科学与技术学科21（1）行具有可排列性，列不具有可排列性。（2）把矩阵的列分成互不相交的子集，构成若干个子矩阵，且这些子矩阵的行和列均是可排列的，也就是子矩阵是对称信道。3、准对称信道的信道容量 03 八月 2022延边大学 计算机科学与技术学科22当输入分布（最佳输入分布）为等概率时：其中r是输入符号集的个数，(p1, p2,ps)为准对称信道矩阵中的行元素。设矩阵可划分成n个互不相交的子集。Nk是第k

10、个子矩阵Qk中行元素之和,Mk是第k个子矩阵Qk中列元素之和。 23例：设信道传递矩阵为 计算得： N1 =3/4, N2 = 1/4, M1=3/4, M2 = 1/4将它分成 03 八月 2022延边大学 计算机科学与技术学科4、准对称信道的信道容量计算实例14、准对称信道的信道容量计算实例2（3.7）03 八月 2022延边大学 计算机科学与技术学科24例3.7：设信道传递矩阵是解：N1=1-q，N2=q；M1=1-q，M2=2q；信道容量：C=log2-H(1-p-q,q,p)-(1-q)log(1-q)+qlog2q = log2-H(1-p-q,q,p)-(1-q)log(1-q)-qlog2q =(1-q)log2+plogp+qlogq+(1-p-q)log(1-p-q)- (1-q)log(1-q)-qlogq4、准对称信道的信道