第三章 信道容量习题答案.docx

·

·PAGE17·

·

·PAGE18·

X x

设信源 1

x

2 通过一干扰信道，接收符号为Y={y1,y2}，信道转移矩

5166134

5

1

6

6

1

3

4

4

阵为 ，求：

信源X中事件x

1

和事件x

2

分别包含的自信息量；

收到消息y

j

(j=1,2)后，获得的关于x

i

(i=1,2)的信息量；

信源X和信宿Y的信息熵；

信道疑义度H(X/Y)和噪声熵H(Y/X)；

接收到信息Y后获得的平均互信息量。

解：1)

I(x

1

I(x

) log

2

) log

p(x)

log0.6

log0.6

0.737

bit

2

log0.4

1.322

bit

2

p(x)

2 2 2

2)

p(y

) p(x)p(y

/x) p(x

)p(y

/x) 0.6

0.6

560.4

5

6

0.4

1

4

1

0.4

3

6

4

p(y

) p(x)p(y

/x) p(x

)p(y

/x) 0.6

0.4

2 1 2 1 2 2 2

p(y/x) 5/6

I(x;y

) log

1 1 log

0.474bit

1 1 2

p(y)

1

20.6

p(y/x) 1/6

I(x;y

) log

2 1 log

1.263bit

1 2 2

p(y)

22

2

20.4

I(x

;y) log

p(y

1

/x) log1/4

1.263bit

2 1 2

p(y)

1

20.6

p(y/x) 3/4

I(x;y

) log

2 2 log

0.907bit

2 2 2

3)

p(y)

2

20.4

H(X) p(x

i

)logp(x

i

) (0.6log0.6 0.4log0.4)log

2

10 0.971bit/symbol

i

H(Y) p(y

j

)logp(y

j

) (0.6log0.6 0.4log0.4)log

j 2

10 0.971bit/symbol

4)

H(Y/X) p(x

i

)p(y

j

/x)logp(y

i j

/x)

i

i j

(0.6

5 5 1 1 1 1 3 3

log 0.6 log 0.4 log 0.4 log)log10

6 6 6 6 4 4 4 4 2

0.715bit/symbol

H(X) H(Y/X) H(Y) H(X/Y)

H(X/Y) H(X) H(Y/X) H(Y)

0.971 0.715 0.971 0.715bit/symbol

5)

I(X;Y) H(X) H(X/Y) 0.971 0.715 0.256bit/symbol

2 1

设二元对称信道的传递矩阵为3 3

1 2

3 3

(1)若P(0)=3/4,P(1)=1/4，求H(X),H(X/Y),H(Y/X和)

I(X;Y)；

求该信道的信道容量及其达到信道容量时的输入概率分布；

(解：1)

(

H(X) p(x)

i

3 log3 14 24 4

log

2

1) 0.811bit/symbol

4

i

H(Y/X) p(x

i

)p(y

j

/x)logp(y

i j

/x)

i

ij322311111122( lg lg lg lg)log

i

j

3

2

2

3

1

1

1

1

1

1

2

2

4 3 3 4 3 3 4 3 3 4 3 3 2

0.918bit/symbol

p(y

1

) p(x

1

y) p(x

1 2

y) p(x

1 1

)p(y

1

/x) p(x

1 2

)p(y

1

/x)

2

3 2 1 1 0.5833

4 3 4 3

p(y

2

) p(xy

1 2

) p(x

2

y) p(x

2 1

)p(y

2

/x) p(x

1 2

)p(y

2

/x)

2

3 1 1 2

4 3 4 3

0.4167

H(Y)

p(y

)

(0.5833

log0.5833

0.4167

log0.4167)

0.980

bit/symbol

j

2

2

j

I(X;Y) H(X) H(X/Y) H(Y) H(Y/X)

H(X/Y) H(X) H(Y) H(Y/X) 0.811 0.980 0.918 0.749bit/symbolI(X;Y