信息与编码理论 第2版 课件 3.3 互信息量与平均互信息量

§3.3互信息量与平均互信息量3.3.1互信息量及性质接下来我们看第一个概念：互信息量。对两个离散随机事件集合和，事件的出现给出关于事件的信息量，定义为事件和的互信息量，其表达式又分为两种情况：一、信道没有干扰，信宿能够完全获取信源发出的信息量，那么二、信道有干扰，信宿所受到的信息中有干扰信息，那么按照之前条件自信息量分析可知，此时3.3.1互信息量及性质互信息量的性质有如下三条：1.对称性和是事件发生的先验概率，而和是后验概率这说明互信息量描述了两个随机事件之间的统计约束程度，如果先验概率确定了，后验概率就决定了信息的流通3.3.1互信息量及性质2.值域为实数(1)那么后验概率为1，说明信宿获得了信源全部信息量，即信道没有干扰(2)那么，后验概率大于先验概率，说明收到事件对于能够消除一些对信源是否发生事件的不确定度，就是说获得了关于的信息量。这也说明，虽然信道有干扰，信宿仍然可以从信源中获取信息量。3.3.1互信息量及性质2.值域为实数(3)那么，后验概率等于先验概率，说明收到事件对于信源是否发生事件没有影响，就是说从那里无法获得了关于的信息量，即二者无关。(4)那么，后验概率小于先验概率，说明收到事件对于信源是否发生事件有负影响，就是说虽然给出了信息量，但不是关于的信息量。3.3.1互信息量及性质3.不大于其中任一事件的自信息量由于那么那么

由于这说明互信息量是描述信息流通的物理量，流通量的数值不能大于被流通量的数值。同时也说明某事件的自信息量是其他事件所能提供该事件的最大信息量。3.3.2平均互信息量及性质接下来我们看第二个概念：平均互信息量。对两个离散随机事件集合和，若任意两事件间的互信息量为，则其联合概率加权的统计平均值，称为两集合的平均互信息量，用表示。在集合中取统计平均3.3.2平均互信息量及性质互信息量的性质有如下四条：1.非负性故当信源和信宿统计独立时等号才成立该性质说明：通过一个信道获得的平均信息量不会是负值，通常总是能够获得一些信息量由得由詹森不等式得3.3.2平均互信息量及性质2.极值性由于而信道疑义度

是对求统计平均所以

因此该性质说明：接收者通过信道获得的信息量不可能超过信源本身所含有的信息量。最佳的情况是当即信道中传输信息无损失时。最坏的情况是当

和

相互独立时，无法获得任何信息。3.3.2平均互信息量及性质3.对称性由于

得

当两个随机变量

和

一一对应时，从一个变量处可以充分获得关于另一个变量的信息，如下式所示3.3.2平均互信息量及性质4.凸函数性

由平均互信息与条件概率分布公式，可得以下两个式子：因此，平均互信息

是信道转移概率

与输入信源

的概率分布

的函数，用下式表示3.3.2平均互信息量及性质4.凸函数性

由定理3.1和定理3.2可证明凸函数性。其中定理3.1说明，当固定某信道时，选择不同信源(其概率分布不同)与信道连接，信道输出端接收到每个信号后所获得的信意量是不同的。并且对于每一个固定信道，一定存在一种信源(某一种概率分布

），使输出端获得的平均信息量最⼤。定理3.2说明，信源固定前提下，不同信道传输同一信源符号时，信道输出端获得关于信源的信息量是不同的。信道输出端获得关于信源的信息量是信道转移概率的下凸函数。即每一种信源都存在一种最差的信道，该信道噪声(⼲扰）最大，使得输出端获得信息量最⼩。定理3.1：在信道转移概率

给定的条件下，平均互信息