信息论基础 普通高等教育十一五 国家级规划教材 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter4.ppt

第4章  连续信息与连续信源 第4章 连续信息与连续信源 本章主要内容： 1. 连续随机变量集合的熵 2. 离散时间高斯信源的熵 3. 连续最大熵定理 4. 连续随机变量集的平均互信息 5. 离散集与连续集之间的互信息 本章在研究第3章离散信源的基础上研究连续信源的信息量度量。 内容安排如下： 首先研究离散时间连续信源的差熵，主要是高斯信源的差熵；然后介绍连续信源最大熵定理；最后介绍连续集合之间的平均互信息、离散集合与连续集合的平均互信息。 §4.1 连续随机变量集合的熵 本节主要内容： 1.连续随机变量的离散化 2.连续随机变量集的熵 3.连续随机变量集的条件熵 4.连续随机变量集的联合熵 5.连续随机变量集合差熵的性质 6.连续随机变量集合的信息散度 4.1.1 连续随机变量的离散化 一个连续随机变量的离散化过程大致如下： 若给定连续随机变量集合 的概率分布 或 概率密度 ；再给定一个由实数集合到有限或可数集合的划分 ，使得 ，其中 表示离散区间， 为实数集合，且 互斥；用 将 进行划分，划分后的离散集合表示为 或 ，且使得： （4.1.2） 即，把 的概率看成 取值 的概率，这样就得到离散化后随机变量的概率分布。 4.1.1 连续随机变量的离散化(续) 对于二维连续随机变量 ，可采用类似方法，得到离散化后对应的二维离散随机变量的联合概率分布： （4.1.3） 其中， 分别为 的某种划分，且 。 4.1.2 连续随机变量集的熵 设连续随机变量集合 在离散化后分别为 ，根据离散化后的离散事件的概率可得 （4.1.4） 取等间隔划分，即令 ，则 （4.1.5） 4.1.2 连续随机变量集的熵(续) 这样，离散化后信源的熵可看成由（4.1.5）式中的两项组成，当Δx→0 时，第一和第二项分别用 和 来表示。那么 （4.1.6） （4.1.7） 4.1.2 连续随机变量集的熵(续) 可见，连续信源的熵由两部分组成：一部分为绝对熵，其值为无限大，用 表示；另一部为差熵（或微分熵），用 表示。 通常我们所说的连续信源的熵就是差熵，可写成： （4.1.8） 差熵的单位为：比特(奈特)/自由度。 4.1.3 连续随机变量集的条件熵 类似地，可计算离散化后的 为： 取等间隔划分，即令 ，则 （4.1.9） 4.1.3 连续随机变量集的条件熵(续) 当 时，第一和第二项分别用 和 来表示。那么 (4.1.11） 4.1.3 连续随机变量集的条件熵(续) 与前面类似以，连续信源的条件熵也由两部分组成：一部分为绝对熵，其值为无限大，用 表示；另一部分为差熵，用 表示，可写成：