第三版信息论答案.doc

第三版信息论答案

第三版信息论答案

PAGE/NUMPAGES

第三版信息论答案

第二章课后习题

【2.1】设有12枚同值硬币，其中有一枚为假币。只知道假币的重量与真币的重量不同，

但不知究竟是重还是轻。现用比较天平左右两边轻重的方法来测量。为了在天平上称出哪一枚是假币，试问至少必须称多少次？

解：从信息论的角度看，

“12枚硬币中，某一枚为假币”该事件发生的概率为P 1；

12

“假币的重量比真的轻，或重”该事件发生的概率为P 1；

2

为确定哪一枚是假币，即要消除上述两事件的联合不确定性，由于二者是独立的，因

此有

I log12

log2

log24比特

而用天平称时，有三种可能性：重、轻、相等，三者是等概率的，均为P

1，因此天

3

平每一次消除的不确定性为I

log3比特

因此，必须称的次数为

I1 log24

I2 log3

2.9次

因此，至少需称3次。

【延伸】如何测量？分3堆，每堆4枚，经过3次测量能否测出哪一枚为假币。

【2.2】同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？解：

“两骰子总点数之和为2”有一种可能，即两骰子的点数各为1，由于二者是独立的，

因此该种情况发生的概率为P 1 1

6 6

1，该事件的信息量为：

36

I log36

5.17比特

“两骰子总点数之和为8”共有如下可能：2和6、3和5、4和4、5和3、6和2，概

率为P

1 1 5

6 6

5，因此该事件的信息量为：

36

I log36

5

2.85比特

“两骰子面朝上点数是3和4”的可能性有两种：3和4、4和3，概率为P

因此该事件的信息量为：

1 1 2 1，

6 6 18

I log18

4.17比特

【2.3】如果你在不知道今天是星期几的情况下问你的朋友“明天星期几？”则答案中含有

多少信息量？如果你在已知今天是星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的顺序）？

解：

如果不知今天星期几时问的话，答案可能有七种可能性，每一种都是等概率的，均为

P 1，因此此时从答案中获得的信息量为

7

I log7

2.807比特

而当已知今天星期几时问同样的问题，其可能性只有一种，即发生的概率为1，此时获得

的信息量为0比特。

【2.4】居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：

设A表示女孩是大学生，P(A)

0.25；

B表示女孩身高1.6米以上，P(B|A)

0.75，P(B)

0.5

“身高1.6米以上的某女孩是大学生”的发生概率为

P(A|B)

P(AB)

P(A)P(B|A)

0.25

0.75

0.375

P(B)

P(B)

0.5

已知该事件所能获得的信息量为

I

log

1

0.375

1.415比特

X

【2.5】设离散无记忆信源

a1 0 a2

1 a3

2 a4

3

，其发出的消息为

P(x)

3/8

1/4

1/4

1/8

（2201），求

（1）此消息的自信息是多少？

（2）在此消息中平均每个符号携带的信息量是多少？解：

信源是无记忆的，因此，发出的各消息之间是互相独立的，此时发出的消息的自信息

即为各消息的自信息之和。根据已知条件，发出各消息所包含的信息量分别为：

I(a0

I(a1

I(a2

I(a3

0) log8

3

1) log4

2) log4

3) log8

1.415比特

2比特

2比特

3比特

在发出的消息中，共有14个“0”符号，13个“1”符号，12个“2”符号，6个“3”

符号，则得到消息的自信息为：

I 14

1.415

132

12 2 63

87.81比特

45个符号共携带87.81比特的信息量，平均每个符号携带的信息量为

I 87.81

45

1.95比特/符号

注意：消息中平均每个符号携带的信息量有别于离散平均无记忆信源平均每个符号携带的

信息量，后者是信息熵，可计算得

H(X)

P(x)logP(x)

1.91比特/符号

【2.6】如有6