信息论与编码总复习.ppt

信息论与编码;信息、消息和信号;信息论研究的内容;数字通信系统模型;概率论基础;概率论基础;;离散

信源;离散无记忆信源;信源的描述;随机序列的概率;有记忆信源;马尔可夫信源;*;马尔科夫链的概念;*;*;*;*;*;*;平均互信息;互信息量定义;平均互信息量;平均互信息量;平均互信息量;平均互信息量的性质;已知级联处理器

在Y条件下，X与Z相互独立，即I(X;Z|Y)=0;而且I(X:Y|Z)和I(Y:Z|X)均为非负量，故可得：I(X;Z)≤I(Y;Z),I(X;Z)≤I(X;Y)

结论：

当消息通过多级处理器时，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。;信息处理定理：数据处理过程中只会失掉一些信息，决不会创造出新的信息——信息不增性。

信息处理定理说明：

任何信息处理过程总会丢掉信息，最多保持原来的信息，一旦丢掉了信息，用任何处理手段也不可能再恢复丢失的信息。

对于观测采集到的数据做任何加工和处理，只会造成有用信息的损失，或不确定性的增加。因此，由计算机系统对输入数据进行处理，绝对不会增加信息量，要减少信息处理过程中信息的损失，就需要增加计算处理的工作量，或采用较为复杂的处理设备。;一般通信系统的信息流程：

根据信息不增性原理有：

I(U;V)≤I(X;V)，I(X;V)≤I(X;Y)

从而有I(U;V)≤I(X;Y)

;§2.2.5数据处理中信息的变化;自信息量

概率越大，不确定性越小；反之符号出现的概率越小，不确定性越大。;自信息的单位的确定；

单位由对数的底a决定——当a=2时为比特(bit，binaryunit)*；a=e时为奈特(nat，natureunit)；a=10时为哈特(Hart，Hartley)。;I(xi)的特性：

⑴I(xi)是非负值

⑵当p(xi)=1时，I(xi)=0

⑶当p(xi)=0时，I(xi)=∞

⑷I(xi)是先验概率p(xi)的单调递减函数，即

当p(x1)＞p(x2)时，I(x1)＜I(x2)

⑸两个独立事件的联合信息量等于它们分别的信息量之和。

即统计独立信源的信息量等于它们分别的信息量之和。

I(Xi|Yj)=I(Xi)+I(Yj)

;离散信源熵

信源各消息自信息量的数学期望为该信源的熵，也叫无条件熵，用H(X)表示。;联合熵;条件熵;信源熵的数学性质;7、香农辅助定理

任一概率分布{p(ai)}，它对其它概率分布{p(bi)}的自信息取数学期望时，必大于{p(ai)}本身的熵;8、最大熵定理（极值性）

在离散信源情况下，信源各符号等概率分布时，熵值达到最大。;9、扩展性;离散平稳信源;平均符号熵

N长的信源符号序列中平均每个信源符号所携带的信息量称为平均符号熵.

H（X）=1/LH（XL）

若当信源退化为无记忆时,有H(X)=

若进一步又满足平稳性时，则有H(X)=LH(X)

平均符号熵与条件熵的四条性质及其含义

①条件熵

是L的单调非递增函数

②当L给定时,平均符号熵≥条件熵,即

③平均符号熵HL(X)是L的单调非增函数

④H∞(X)=HL(X)=H(XL/X1X2…XL-1)称H∞为平稳信源的极限熵或极限信息量。

马尔科夫信源熵的计算方法；

计算熵Hm+1

H∞(X)

;对状态的全部可能性作统计平均,就可以得到马尔可

夫信源的平均符号熵;冗余度与效率的定义及其含义。;信息效率（熵的相对率）

信源的实际信息熵与具有同样符号集的最大熵的比值

表示不肯定的程度

冗余度

;信道;按输入/输出信号在幅度和时间上的取值:

离散信道：

输入和输出的信号在时间和幅度上均是离散的

连续信道：

幅度是连续的时间是离散的

半离散(半连续)信道：

输入变量、输出变量取值一个连续一个离散

波形信道：

信道的输入???输出在时间和幅度上均连续;按输入/输出之间关系的记忆性来划分：

无记忆信道：

信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关

有记忆信道：

信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关

按输入／输出信号之间的关系是否是确定关系:

无干扰信道：

输入/输出符号之间有确定的一一对应关系

有干扰信道：

输入/输出之间关系是一种统计依存的关系

输入/输出的统计关系：

离散无记忆信道：

用条件概率矩阵来描述。

离散有记忆信道：

可像有记忆信源中那样引入状态的概念。;3.1信道分类和表示参数;信道容量的定义；

信息传输率

信道在单位时间内平均传输的信息量定义为信息传输速率

R=I(X;Y)=H(X)－H(X/Y)比特/符号

Rt=I(X;Y)/t