信息论07课件.ppt

信道、信道容量与信道的有效利用 1. 信道、信道模型与信道分类 2. 离散无记忆信道及其信道容量 3. 离散无记忆信道容量的计算 4. 级联信道和并联信道的信道容量 5. 信道达到充分利用时输入输出字母概率分布的唯一性 信道，信道模型与信道分类 § 1.1 信道 基本概念 通信系统的组成部分。 (信息论意义上）传递和存储信息的通道或媒质。 狭义 ——电传播介质：电缆，自由空间。 通信设备：分类器（信息经过的通道）。 广义—— 测量，观察设备；示波仪。 存储，记忆设备：磁带，磁盘，光盘， 书信等。 § 1.2 信道模型 输入输出关系：转移概率 信道描述：1. 输入容许字母集合及统计特征 2. 输出容许字母集合 3. 输入输出的转移概率分布 研究目标：从信道输出了解信道输入 § 1.3 信道分类 按信道输入出字母表分类 输入输出空间＝状态集合＋时间集合 离散信道（数字信道）：输入输出空间为离散。 输入输出为随机序列，状态集合离散。 连续信道：状态集合连续，时间集合离散。 输入输出为随机序列，状态集合连续。 模拟信道（波形信道）：输入输出空间为连续。 按输入和输出的数目分类 单用户信道：输入和输出都只有一个。为单向通信 信道。 多用户信道：输入和输出中至少有一端有两个以上 的用户，且可以进行双向通信。 按输入和输出的关联性分类 无反馈信道：输出信号不返回到输入端，即对输入 信号无影响。 反馈信道：输出信号返回到输入端，即对输入信号 产生影响。 按信道转移概率分布函数的特点分类 无记忆信道：输出 Y 仅与当前的输入 X 有关，而 与前面的输入无关。 有记忆信道：输出 Y 不仅与当前的输入 X 有关， 而且与前面的输入有关。 稳恒信道： 输入与输出对应的随机过程为稳恒。 非稳恒信道：输入与输出不对应的随机过程为非稳恒。 按信道的参数（统计特性）与时间的关系分类 固定参数信道：信道的统计特性不随时间变化。 时变参数信道：信道的统计特性随时间变化。 信道研究的核心问题：迅速而准确地传递信息。 提高传输的有效性和可靠性。 有效性：最大限度地传递信息。 可靠性：准确无误 2. 离散无记忆信道的信道容量 § 2.1 单符号无记忆离散信道的信道容量 （1）基本概念 信道给定，则其统计特性确定。 数学模型： 研究目标：了解输出端能从输入端得到多少信息？ 即如何将信道所能传递的信息定量化？ 数学表示：互信息 分析： 给定， 随输入分布 变化而变化。调整该分布可使互信息达到最大值，即 给出了信道所能传递的最大信息量。定义该最大值为 给定信道的信道容量，用 表示： 求信道容量：找到分布，使互信息达到最值。 最佳分布：达到信道容量时的输入分布。 （2）几种特殊信道 输入为 条件下，输出 的条件概率， 为信道的前向转移概率。 信道 (前向转移概率)矩阵： 简写： 对称信道 定义： 中所有的行都是同一组元素的不同排列， 所有的列也是同一组元素的不同排列。 准对称信道 定义：设 B 为 的列集合，如果将 B 划分成 m 个子集，而用每一个子集构成的矩阵所对应的信道都是对称信道。 例： 对称信道 准对称信道