信息论第二章答案(南邮研究生作业).docVIP

同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： (1)“3和5同时出现”这事件的自信息量。 (2)“两个1同时出现”这事件的自信息量。 (3)两个点数的各种组合（无序对）的熵或平均信息量。 (4)两个点数之和（即2，3，…，12构成的子集）的熵。 (5)两个点数中至少有一个是1的自信息。 解： (1) (2) (3) 两个点数的排列如下： 11 12 13 14 15 16 21 22 23 24 25 26 31 32 33 34 35 36 41 42 43 44 45 46 51 52 53 54 55 56 61 62 63 64 65 66 共有21种组合： 其中11，22，33，44，55，66的概率是 其他15个组合的概率是 (4) 参考上面的两个点数的排列，可以得出两个点数求和的概率分布如下： (5) 设有一离散无记忆信源，其概率空间为 求每个符号的自信息量； 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。 解： 同理可以求得 因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和 就有： 平均每个符号携带的信息量为bit/符号 有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，…，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。 若仅对颜色感兴趣，计算平均不确定度； 若仅对颜色和数字都感兴趣，计算平均不确定度； 如果颜色已知时，计算条件熵。 解：令X表示指针指向某一数字，则X={1,2,……….,38} Y表示指针指向某一种颜色，则Y={l绿色，红色，黑色} Y是X的函数，由题意可知 （1）bit/符号 （2）bit/符号 （3）bit/符号 有两个二元随机变量X和Y，它们的联合概率如表所示。并定义另一随机变量Z＝XY（一般乘积）。试计算： Y X 0 1 0 1/8 3/8 1 3/8 1/8 (1)H(X)、H(Y)、H(Z)、H(XZ)、H(YZ)和H(XYZ)。 (2)H(X/Y)、H(Y/X)、H(X/Z)、H(Z/X)、H(Y/Z)、H(Z/Y)、H(X/YZ)、H(Y/XZ)和H(Z/XY)。 (3)I(X;Y)、I(X;Z)、I(Y;Z)、I(X;Y/Z)、I(Y;Z/X)和I(X;Z/Y)。 解： (1) Z = XY的概率分布如下： (2) (3) 由符号集{0，1}组成的二阶马氏链，转移概率为：p(0/00)＝0.8，p(0/11)＝0.2，p(1/00)＝0.2，p(1/11)＝0.8，p(0/01)＝0.5，p(0/10)＝0.5，p(1/01)＝0.5，p(1/10)＝0.5。画出状态图，并计算各状态的稳态概率。 有一个一阶平稳马尔可夫链X1，X2，…Xr，…，各Xr取值于集A＝{a1，a2，a3}。已知起始概率P(Xr)为：p1 = 1/2，p2 = p3 = 1/4，转移概率为： (1)求X1X2X3的联合熵和平均符号熵。 (2)求这个链的极限平均符号熵。 (3)求H0，H1，H2和它们所对应的冗余度。 解：（1） 符号 X1，X2的联合概率分布为 1 2 3 1 1/4 1/8 1/8 2 1/6 0 1/12 3 1/6 1/12 0 1 2 3 14/24 5/24 5/24 X2的概率分布为那么 =1.209bit/符号 X2X3的联合概率分布为 1 2 3 1 7/24 7/48 7/48 2 5/36 0 5/12 3 5/36 5/12 0 那么 =1.26bit/符号 /符号 所以平均符号熵／符号 （2）设a1,a2,a3稳定后的概率分布分别为W1,W2,W3,转移概率距阵为 由 得到 计算得到 又满足不可约性和非周期性 /符号 (3)/符号 /符号 /符号 证明：（信息不等式），p(x),q(x)是两概率分布，相对熵D(p(x)||q(x))?0 证明：（最大熵定理），H(x)?logM, M 表示空间的维数 证明：条件熵小于等于熵（无条件）