信息论与编码理论习题答案全解.pdf

信息论与编码理论习题答案全

解

第二章信息量和熵

2.2八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的

信息速率。

解：同步信息均相同，不含信息，因此

每个码字的信息量为2=23=6bit



log8

因此，信息速率为61000=6000bit/s



2.3掷一对无偏骰子，告诉你得到的总的点数为：(a)7;(b)12。问各得到多少

信息量。

解：(1)可能的组合为{1，6},{2，5},{3，4},{4，3},{5，2},{6，1}

61

p(a)==

366

1

得到的信息量=log=log6=2.585bit

p(a)

(2)可能的唯一，为{6，6}

1

p(b)=

36

1

得到的信息量=log=log36=5.17bit

p(b)

2.4经过充分洗牌后的一副扑克（52张），问：

(a)任何一种特定的排列所给出的信息量是多少？

(b)若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？

1

解：(a)p(a)=

52!

1

信息量=log==225.58bit

log52!

p(a)

13!13种点数任意排列



(b)

13

4花色任选



13!413413

p(b)==

A13C13

5252

信息量=logC13log413=13.208bit

52

即I(u;0)，I(u;00)，I(u;000)，I(u;0000)

1111

111

p(0)=(1p)4+p4=

882

p(0|u)1p

I(u;0)=log1=log=1+log(1p)bit

1p(0)1