信息论与编码-第三章.ppt

信息论与编码-第三章第一页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量由于一般信道中总是存在噪声和干扰，在这样的信道中进行信息传输会造成损失。那么在有噪信道中怎么能够使消息通过传输后发生的错误最少？在有噪信道中无错误传输可以达到的最大信息率是多少？这就是本章研究的内容。第二页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量信道分类和表示参数通信系统中，信道是非常重要的部分。信道的任务是以信号方式传输信息。在信道中会引入噪声，这些都会使信号通过信道后产生错误和失真，故信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系。只要知到了信道的输入信号和输出信号以及它们之间的统计依赖关系，则信道的全部特性就确定了。所以可以用信道的转移概率矩阵P(Y/X)来描述信道、信道的数学模型及分类研究信道，就要研究信道中能够传送的最大信息量，即信道容量问题。第三页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量信道的分类：从不同的角度，有不同的分类方法。根据信道的参数是否随时间变化，可以分为：（1）固定参数信道：信道的参数不随时间变化；（2）时变参数信道：信道的参数随时间变化。根据输入和输出信号的特点，可以分为：（1）离散信道：信道的输入和输出的随机序列取值都是离散的；（2）连续信道：信道的输入和输出的随机序列的取值都是连续的；第四页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量（3）半离散或半连续信道：输入序列是离散的但相应的输出序列是连续的，或者反过来；（4）波形信道：信道的输入输出不但取值是连续的，而且还随时间连续变化。一般可用随机过程来描述其输入输出。由于实际信道的带宽总是有限的，所以输入信号和输出信号总可以分解成时间离散的随机序列。序列的取值可以是连续的，也可以是离散的，因此，波形信道可以分解成连续信道或离散信道或半离散半连续信道。第五页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量信道参数设信道的输入矢量和输出矢量分别是通常采用条件概率 来描述信道输入输出信号之间统计的依赖关系。该条件概率通常称为转移概率第六页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量根据信道是否存在干扰以及有无记忆，可将信道分为下面三类无干扰信道：信道的输出符号Y与输入符号X之间又确定的关系Y=f(X),已知X后就确知Y。有干扰无记忆信道：信道的输出符号Y与输入符号X之间没有确定的关系，但转移概率满足即每个输出符号只与当前输入符号之间有概率转移关系。在这种情况下，只需分析单个符号的转移概率即可第七页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量有干扰有记忆信道：一般情况都是如此，常用的方法有两种将记忆很强的L个符号当矢量符号，各矢量符号之间是无记忆的，但此事会引入误差，L越大，误差越小将转移概率看成马尔科夫链的形式，记忆有限，信道的统计特性可用在已知现在时刻输入符号和前信道所处的状态的条件概率来描述，这种处理方法比较复杂，通常取一阶时稍简单第八页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量下面我们讨论几种常用信道。 （1）二进制离散信道 二进制离散信道的输入值集合是{0，1}，输出值集合也是{0，1}，再加上一组描述信道统计特性的转移概率，就可以完全确定信道。二进制离散信道的一个特例：二进制对称信道（BSC-Binary Symmetric Channel）。如果描述二进制离散信道的转移概率对称，即 则称这种二进制输入、二进制输出的信道为二进制对称信道。第九页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量如图所示。BSC信道是无记忆信道。BSC信道是研究二元编解码最简单也是最常用的信道模型。输入011-p1-ppp输出01第十页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量（2）离散无记忆信道设信道的输入符号集合是 ，输出符号集合是 再加上一组（mn个）转移概率 这样的一种信道称为离散无记忆信道（DMC:Discrete Memoryless Channel）。第十一页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量可以把转移概率写成矩阵的形式，即第十二页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量图示a0an-1a1b0b1bm-1第十三页，共九十三页，2022年，8月28日 信息论与编码-信道与信道容量（3）离散输入、连续输出信道 信道输入符号选自一个有限离散的符号集合