离散信源熵.ppt

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源的熵和互信 2.5 冗余度 离散信源熵和互信息 问题： 什么叫不确定度？ 什么叫自信息量？ 什么叫平均不确定度？ 什么叫信源熵？ 什么叫平均自信息量？ 什么叫条件熵？ 什么叫联合熵？ 联合熵、条件熵和熵的关系是什么？ 离散信源熵和互信息 问题： 什么叫后验概率？ 什么叫互信息量？ 什么叫平均互信息量？ 什么叫疑义度？ 什么叫噪声熵（或散布度）？ 数据处理定理是如何描述的？ 熵的性质有哪些？ 自信息量 设离散信源X，其概率空间为 自信息量 自信息量 离散信源熵 离散信源熵H(X) 信源熵 无条件熵 2.2.3 互信息 设有两个随机事件X和Y ,X取值于信源发出的离散消息集合, Y取值于信宿收到的离散符号集合 互信息 如果信道是无噪的,当信源发出消息xi后,信宿必能准确无误地收到该消息,彻底消除对xi的不确定度,所获得的信息量就是xi的不确定度I(xi),即xi本身含有的全部信息。 一般而言,信道中总是存在着噪声和干扰,信源发出消息xi,通过信道后信宿只可能收到由于干扰作用引起的某种变型yj 。 信宿收到yj 后推测信源发出xi的概率p(xi|yj)称为后验概率。 信源发出消息xi的概率p(xi) 称为先验概率。 互信息 例某地二月份天气 构成的信源为： 表明从y1分别得到了x2 x3 x4各 1比特的信息量。 消息y1使x2 x3 x4的不确定度各减少1bit 。 例2-8:一个二进信源X发出符号集{0,1},经过离散无记忆信道传输,信道输出用Y表示,由于信道中存在噪声,接收端除收到0和1的符号外,还有不确定符号“2” 已知X的先验概率: p(x0)=2/3, p(x1)= 1/3, 符号转移概率： p(y0|x0)=3/4, p(y2|x0)=1/4 p(y1|x1)=1/2, p(y2|x1)=1/2， 得联合概率： p(x0y0) = p(x0) p(y0 |x0) = 2/3×3/4 = 1/2 p(x0y1) = p(x0) p(y1 |x0) = 0 p(x0y2) = p(x0) p(y2 |x0) = 2/3×1/4 = 1/6 p(x1y0) = p(x1) p(y0 |x1) = 0 p(x1y1) = p(x1) p(y1 |x1) = 1/3×1/2=1/6 p(x1y2) = p(x1) p(y2 |x1) = 1/3×1/2=1/6 条件熵 联合熵 H(X,Y)＝H(X)＋H(Y|X)=1.8bit/符号 同理 p(x0 |y1)=0 ； p(x1 |y1)=1 p(x0 |y2)=1/2； p(x1 |y2)=1/2 H(X)： 表示接收到输出符号Y前关于输入变量X的平均不确定度。 H(X|Y)： 表示接收到输出符号Y 后关于输入变量X的平均不确定度。 平均互信息 平均互信息 通信系统中,若发端的符号为X ,收端的符号为Y 如果是一一对应信道,接收到Y后,对X的不确定性将完全消除：H(X|Y) = 0 一般情况： H(X |Y) ＜H(X),即了解Y后对X的不确定度的将减少 通过信道传输消除了一些不确定性,获得了一定的信息。 平均互信息 例假设一条电线上串联了8个灯泡x1, x2，…x8如图，这8个灯泡损坏的概率相等p(xi) = 1/8，现假设只有一个灯泡已损坏，致使串联灯泡都不能点亮。 第1次测量后,可知4个灯泡是好的,另4个灯泡中有一个是坏的,这时后验概率p(xi|y) =1/4 尚存在的不确定性 第2次测量后变成猜测哪2个灯泡中一个是损坏的,这时后验概率为： p(xi|yz) = 1/2 尚存在的不确定性： 方法2：逐个检查 第1次: x1坏,获得信息量=3bit,可能性较小1/8； x1通,其余7只中1只坏,坏灯泡的不确定性：log27=2.8073bit 获得信息量=3-2.8073=0.1927bit,可能性较大7/8 第1次所获得的平均信息量: 互信息量 在有3个变量的情况下,符号xi与符号yj , zk之间的互信息量定义为 条件互信息 我们定义在已知事件zk的条件下,接收到yj后获得关于某事件xi的条件互信息 平均互信息与各类熵的关系 熵只是平均不确定性的描述; 不确定性的消除(两熵之差)才等于接收端所获得的信息量。 获得的信息量不应该和不确定性混为一谈 维拉图 条件熵 H(X|Y)：信道疑义度，损失熵 信