信息论基础课件2.xt.ppt

* 2.2 居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设随机变量X代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量Y代表女孩子身高 Y y1（身高160cm） y2（身高160cm） P(Y) 0.5 0.5 已知：在女大学生中有75%是身高160厘米以上的 即： 求：身高160厘米以上的某女孩是大学生的信息量 即： 2.3 一副充分洗乱了的牌（含52张牌），试问 (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？ 解：(1) 52张牌共有52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： (2) 52张牌共有4种花色、13种点数，抽取13张点数不同的牌的概率如下： 不满足极值性的原因是 2.6 设信源， 求这个信源的熵，并解释为什么H(X) log6不满足信源熵的极值性。 解： 2.7 证明：H(X3/X1X2) ≤ H(X3/X1)，并说明当X1, X2, X3是马氏链时等式成立。 证明 2.10 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为{0, 1, 2}。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H∞。 2.11：黑白气象传真图的消息只有黑色和白色两种，即信源X={黑，白}，设黑白出现的概率分别为：P(黑)=0.3,P(白)=0.7。 (1)假设图上黑白消息出现前后没有关联，求熵H(X) (2)假设消息前后有关联,P(白|白)=0.9，P(黑|白)=0.1， P(白|黑)=0.2， P(黑|黑)=0.8，求此一阶马尔可夫信源的熵。 (3)分别求上述两种信源的剩余度。 假设图上黑白消息出现前后没有关联,则等效于一个离散无记忆信源，信源熵为 解(1) (2)假设消息前后有关联时,从给出的依赖关系可知，黑白消息之间的依赖关系与时间无关，并且满足一阶马尔科夫信源的定义。从给出的依赖关系我们可以画出状态转移图 黑 白 0.2 0.1 0.8 0.9 一步转移矩阵 此马尔可夫链是时齐的、状态数有限，且是不可约闭集。所以状态的极限概率存在，满足 解得 此一阶马尔科夫信源的熵为 （3）黑白消息的剩余度 这说明，当信源的消息之间有依赖时，信源输出消息的不确定性减弱。所以信源的消息之间有依赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵正是反映信源的平均不确定性的大小。而信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息之间的依赖关系就越大。 2.12 同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； (2) “两个1同时出现”这事件的自信息； (3) 求两个点数的各种组合（无序）对的熵或平均信息量； 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是 其他15个组合的概率是 (4) 求 两个点数之和（即2, 3, … , 12构成的子集）的熵； 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： (5) 求两个点数中至少有一个是1的自信息量。 2.13 某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符号的平均熵； (2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； (3) 计算(2)中序列的熵。 解：(1) (2) (3) 2.14 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态，调查结果得联合出现的相对频度如下： 忙 晴 雨 冷 12 暖 8 暖 16 冷 27 闲 晴 雨 冷 8 暖 15 暖 12 冷 5 若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； * * *