信息论与编码的课程第二章作业答案.doc

2.1一个马尔可夫信源有3个符号，转移概率为：，，，，，，，，，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为：  设状态u1，u2，u3稳定后的概率分别为W1，W2、W3 由得计算可得 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：=0.8，=0.2，=0.2，=0.8，=0.5，=0.5，=0.5，=0.5。画出状态图，并计算各状态的稳态概率。 解： 于是可以列出转移概率矩阵： 状态图为： 设各状态00，01，10，11的稳态分布概率为W1,W2,W3,W4 有 得 计算得到 2.7 设有一离散无记忆信源，其概率空间为 （1）求每个符号的自信息量 （2）信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求该序列的自信息量和平均每个符号携带的信息量 解： 同理可以求得 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有： 平均每个符号携带的信息量为bit/符号 2.11 有一个可以旋转的圆盘，盘面上被均匀的分成38份，用1，…，38的数字标示，其中有两份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上的指针指向某一数字和颜色。 （1）如果仅对颜色感兴趣，则计算平均不确定度 （2）如果仅对颜色和数字感兴趣，则计算平均不确定度 （3）如果颜色已知时，则计算条件熵 解：令X表示指针指向某一数字，则X={1,2,……….,38} Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知 （1）bit/符号 （2）bit/符号 （3）bit/符号 2.12 两个实验X和Y，X={x1 x2 x3},Y={y1 y2 y3},l联合概率为 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？ 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？ 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？ 解：联合概率为 Y X y1 y2 y3 x1 7/24 1/24 0 x2 1/24 1/4 1/24 x3 0 1/24 7/24 =2.3bit/符号 X概率分布 X x1 x2 x3 P 8/24 8/24 8/24 bit/符号 Y概率分布是 =0.72bit/符号 Y y1 y2 y3 P 8/24 8/24 8/24 2.16 黑白传真机的消息元只有黑色和白色两种，即X={黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。 （1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图 （2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。 （3）比较两种信源熵的大小，并说明原因。 解：（1）bit/符号 P(黑|白)=P(黑) P(白|白)＝P(白) P(黑|黑)＝P(黑) P(白|黑)＝P(白) （2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时 间变化） ＝0.512bit/符号 2.20 给定语音信号样值X的概率密度为,,求Hc(X)，并证明它小于同样方差的正态变量的连续熵。 解： 2.29 有一个一阶平稳马尔可夫链,各Xr取值于集合,已知起始概率P(Xr)为，转移概率如下图所示 j i 1 2 3 1 2 3 1/2 2/3 2/3 1/4 0 1/3 1/4 1/3 0 求的联合熵和平均符号熵 求这个链的极限平均符号熵 求和它们说对应的冗余度 解：（1） 符号 X1，X2的联合概率分布为 1 2 3 1 1/4 1/8 1/8 2 1/6 0 1/12 3 1/6 1/12 0 1 2 3 14/24 5/24 5/24 X2的概率分布为那么 =1.209bit/符号 X2X3的联合概率分布为 1 2 3 1 7/24 7/48 7/48 2 5/36 0 5/12 3 5/36 5/12 0 那么 =1.26bit/符号 /符号 所以平均符号熵／符号 （2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为 由 得