信息论基础教学课件.ppt

1）在某区间的二阶导数小于0，则在此区间内为严格上凸函数。2）利用Jenson不等式★上凸函数的判定方法下面介绍另一个有用的不等式对于任意x，有：这是怎么得来的？{①x=1为稳定点②x=1时，2阶导数小于0x=1处有极大值y换成x信息散度★P和Q为定义在同一概率空间的两个概率测度，则P相对于Q的散度：上式中，概率分布的维数不限，可以是一维，也可以是多维。★定理：如果在一个共同的有限字母表的概率空间上给定的两个概率测度P(x)和Q(x)当且仅当对所有x,P(x)=Q(x)时,等式成立熵的基本性质(1)★对称性：★非负性：★扩展性：★可加性：p=(p1,p2,…,pn)中，各分量的次序可以任意改变自信息非负，熵为自信息的平均熵非负即：小概率事件对熵的影响很小，可以忽略H(XY)=H(X)+H(Y|X)H(X1X2…XN)=H(X1)+H(X2|X1)+…+H(XN|X1…XN-1)复合事件集合的不确定性为各个分事件集合的不确定性的和找找假币在哪里?一次称重的信息量为log3k次：klog33log3=log27log24熵的链原则举例★极值性：熵的基本性质(2)定理2.4.3(离散最大熵定理)对于离散随机变量集合，当集合中的事件等概率发生时，熵达到最大值证设随机变量集合有n个符号，概率分布为P(x)；Q(x)为等概率分布，即Q(x)=1/n。根据散度不等式有★确定性：★上凸性：熵的基本性质(3)H(1,0)=H(1,0,0)=…=H(1,0,…0)=0。当随机变量集合中任一事件概率为1时，熵为0H(p)=H(p1,p2,…,pn)是(p1,p2,…,pn)的严格的上凸函数各类熵的关系★条件熵不大于信息熵：定理（熵的不增原理）在信息处理过程中，条件越多，熵越小。各类熵的关系★联合熵不大于个信息熵的和：证明思路：熵的可加性{★联合熵与信息熵、条件熵的关系 H(XY)=H(X)+H(Y/X)熵函数的唯一性★是概率的连续函数★信源符号等概率时是n（信源符号数）的增函数★可加性如果要求熵函数满足以下条件：那么，熵函数的表示是唯一的。三种情况都是求联合自信息。设x为红球数，y为白球数。解：(1)比特(2)比特(3)比特因为，所以事件“两个球都是白球”的发生更难猜测。条件自信息简记p(x|y)要满足非负和归一化条件★事件给定，事件的自信息：★条件自信息的含义包含两方面：★自信息、条件自信息和联合自信息之间的关系I(xy)=I(x)+I(y|x)=I(y)+I(x|y)2.1(续)例箱中球不变，现从箱中先拿出一球，再拿出一球，求：（1）事件“在第一个球是红球条件下，第二个球是白球”的不确定性；（2）事件“在第一个球是红球条件下，第二个球是红球”所提供的信息量。这两种情况都是求条件自信息，设r表示红球，w表示白球。解：(1)比特(2)比特2.2例有8×8=64个方格，甲将一棋子放入方格中，让乙猜：1）将方格按顺序编号，让乙猜顺序号的困难程度为何？2）将方格按行和列编号，当甲告诉乙方格的行号后，让乙猜列顺序号的困难程度为何？解：两种情况下的不确定性1)I(xy)=log264=6bit2)I(x|y)=-log2p(x|y)=-log2(1/8)=3bit§2.1.2互信息★互信息★互信息的性质★条件互信息互信息简记通过计算★离散随机事件之间的互信息：或I(x;y)与I(x|y)的区别？互信息的性质★互易性★当事件x，y统计独立时，互信息为0，即I(x;y)=0★互信息可正可负★任何两事件之间的互信息不可能大于其中任一事件的自信息设e表示“降雨”，f表示“空中有乌云”，且P(e)=0.125，P(e|f)=0.8求：1）“降雨”的自信息2）“空中有乌云”条件下“降雨”的自信息3）“无雨”的自信息4）“空中有乌云”条件下“无雨”的自信息5）“降雨”与“空中有乌云”的互信息6）“无雨”与“空中有乌云”的互信息2.3例这两种情况都是求条件自信息，设r表示红球，w表示白球。解：1)I(