信息科学第六章.ppt

噪声n 输入Y 输入X 第四节 连续信道和波形信道的分类 因此，在加性信道中，条件熵为 根据坐标变换得 所以 结论说明了条件熵 是由于信道中噪声引起的，它完 全等于噪声信源的熵，所以称为噪声熵。 以后主要讨论的是加性信道，噪声源主要是高斯白噪声。 信道 + 第二十九页，共四十七页，2022年，8月28日 第五节 连续信道和波形信道的信息传输率 单符号连续信道的平均互信息 单符号连续信道的数学模型为 输入信源X为 输出信源Y为 而信道的传递概率密度函数为 第三十页，共四十七页，2022年，8月28日 第五节 连续信道和波形信道的信息传输率 对于连续信道的平均互信息来说，关系式和离散信道下平均互信息的关系式完全类似，而且保留了离散信道平均互信息的含义和性质，只是表达式中用连续信源的差熵代替了离散信源的熵。 单符号连续信道的信息传输率 （比特/自由度） 平均互信息为： 第三十一页，共四十七页，2022年，8月28日 第五节 连续信道和波形信道的信息传输率 多维连续信道的平均互信息 多维连续信道的数学模型是[X，p(y|x)，Y]，其传递概率密度函数为： 多维连续信道的平均互信息为： 第三十二页，共四十七页，2022年，8月28日 第五节 连续信道和波形信道的信息传输率 根据随机矢量X和Y的差熵和条件差熵的表达式可得： 以上表达式与离散信道下平均互信息的完全类，只是表达式 中概率分布函数用概率密度函数来替代，求和号用积分号来 替代。因此，离散扩展信道中平均互信息的性质在多维连续 信道中仍成立。 第三十三页，共四十七页，2022年，8月28日 第一页，共四十七页，2022年，8月28日 第一节 波形信源的统计特性和离散化 实际某些信源的输出常常是时间和取值都是连续的消息。例如语音信号、电视信号。这样的信源成为随机波形信源，其输出消息可以用随机过程{x(t)}来表示。 随机过程{x(t)}可以看成由一族时间函数 组成 称为样本函数。每个样本函数是随机过程的一个实现。 （1）随机波形信源中消息数是无限的。 （2）随机波形信源可用有限维概率密度函数族以及与各维函数概率密度函数有关的统计量来描述。 第二页，共四十七页，2022年，8月28日 第一节 波形信源的统计特性和离散化 就统计特性的区别来说，随机过程大致可分为平稳随机过程和非平稳过程两大类。 最常见的平稳随机过程为遍历过程，它不但统计特性不随时间平移而变化，而且它的集平均以概率1等于时间平均。 对于随机过程来说，只要是限频的，它的每个样本函数也可作同样的取样处理。每个样本函数都可以用一系列 时刻上的样本值 来表征。因为随机过程的样本函数x(t)有无限多个，因此，取样后瞬间 的样本值是一个随机变量。 第三页，共四十七页，2022年，8月28日 第一节 波形信源的统计特性和离散化 这样，通过取样，随即过程就成为可数的无限维的随机序列 。 如果随机过程又是限时的，时间间隔为T，则就成为2FT个有限维的随机序列。取样之后还要对取值的离散化。取样加量化才使随机过程变换成时间的取值都是离散的随机序列。量化必然带来量化噪声，引起信息损失。 随机过程描述输出消息的信源称为随机波形信源。用连续随机变量描述输出消息的信源称为连续信源。 第四页，共四十七页，2022年，8月28日 第二节 波形信源和波形信源的信息测度 连续信源的差熵 先看单个变量的基本连续信源的信息测度。基本连续信源的输出是取值连续的单个随机变量。可用变量的概率密度，变量间的条件概率密度和联合概率密度来描述。 变量的一维概率密度函数为 一维概率分布函数为 条件概率密度函数为 联合概率密度函数为 第五页，共四十七页，2022年，8月28日 第二节 波形信源和波