信息论讲义-第五章12讲).pdf

信息理论基础 信息理论基础 第12讲 北京航空航天大学 201教研室 陈 杰 第四章小 结 s r 信道疑义度 H (X |Y ) ∑∑p (a b )log p (a |b ) i j i j ⎧ j 1 i 1 1.基本概念 s r r r s H (Y | X ) ∑∑p( a b )log p(b | a ) i j j i H (Y | X ) p( a ) p(b | a )log p(b | a ) 噪声熵 H (Y | X ) p( a ) =⋅H ( p , p , p ) ∑ ∑ ∑ i j i j i ⎨ j 11 i 1 i 1 i 1 i 2 is ⎩ i i 1 j def def 平均互信息量 I (X ;Y ) H (X ) =−H (X Y ) I (X ;Y ) H (Y ) =−H (Y X ) def 定义 C max {I( X; Y)} 2. 信道容量 ⎧ p (x ) ⎨特殊信道的 ⎧离散无噪信道 信道容量 ⎨