第四章 信道与信道容量15.ppt

3.无损确定信道：输入与输出一一对应 H(Y|X)=0 H(X|Y)=0 则 I(X;Y)=H(X)=H(Y)——信道中没有损失 单位：比特/符号 可知：对于无噪信道求C的问题已从求 I(X;Y)极值问题退化成求H(X)或H(Y)极值问题。 如果信道矩阵的每一行(列）都是第一行（列）元素的不同排列，则称该信道为行（列）对称信道。 如果信道矩阵的每一行都是第一行元素的不同排列，每一列并不都是第一列元素的不同排列，但是可以按照矩阵的列将信道矩阵划分成或干对称的子矩阵，则称该信道为准对称信道。 若信道矩阵中，每一行(或列)都是第一行(或第一列)的元素的不同排列，则称为离散对称信道。 —对称信道 —准对称信道 三.离散对称信道 —对称信道 1.定义： 则称此信道为均匀信道。（对称信道的特例） 如果对称信道的输入输出符号个数相同，均为r，且信道中总的错误概率 ，平均分配给 个输 出符号，即信道矩阵为 注意：一般信道的信道矩阵的各行之和为1，各列之和不一定为1，但是均匀信道的各列之和为1 2.离散对称信道的C 式中 为信道矩阵中任一行的元素。 若一个离散对称信道具有r个输入符号，s个输出符号，则当输入为等概率分布时，达到信道容量C 定理： 证明： 则有： 结论:求离散对称信道的信道容量，实质上是求一种输入分布p(x)使输出熵H(Y)达最大。 例4-7：求具有以下信道矩阵的信道的信道容量 解：分析可知这是一个对称信道，则信道容量为 结论：在该对称信道中，只有当信道输入符号等概分布时，每个符号平均能传送的信息为0.126bit，一般情况下每个符号平均传输的信息都是小于0.126bit 。 例4-8：求均匀信道的信道容量。 为正确传递概率 为错误传递概率 对于二元对称信道：r=2，则信道容量C： 解：均匀信道是对称信道的一种特例，则其信道容量用对称信道的信道容量的求解公式，则 引理：对于一个离散对称信道，只有当信道输入分布p(x)为等概率分布时，输出分布才能为等概率分布。 证明：设该信道有r个输入符号，当输入等概分布时，有 根据全概率公式，输出为 由对称信道可知，每列元素之和相等，设为 则该矩阵所有元素之和为 从矩阵的行可知所有元素之和为r，则 所以有： 表明：对于一个离散对称信道，当信道输入分布p(x)为等概率分布时，输出分布为等概率分布。 3.准对称信道的C 求准对称信道的信道容量，首先将信道矩阵划分为若干个互不相交的对称子集，可以证明当输入等概分布时，达到信道容量为 式中：n为输入符号个数； 是信道矩阵中任一行元素求的信息； r是互不相交的子集个数 。 Nk是第k个子矩阵中行元素之和； Mk是第k个子矩阵中列元素之和； 例4-9：求二元对称删除信道的信道容量。 解：分析可知该信道分成对称的2个子信道 则该信道是一个准对称信道 其信道容量为 其中输入符号个数n=2， 则有： λ为拉格朗日乘子，待定常数 根据高数知识,首先构造函数： 设有一离散无记忆信道的输入X取值于 在 的约束条件下求I(X;Y)的极值. 信道矩阵P = 输出Y取值于 四.一般离散无记忆信道的C 对p(ai) 求偏导，并令偏导等于0，即： ，代入I(X;Y)求出C 根据约束条件 ，求出pi 例4-10：设有扰离散信道的传输情况如图所示，求C以及达到C时的输入概率分布 . 利用对称信道的信道容量公式求得： 解：I(X;Y)=H(Y)-H(Y|X) 则有： 达到C时的输入分布： 解：N个二元对称信道级联后的总信道矩阵为 例4-11：求N个相同的二元对称信道组成的级联信道容量 1 2 N 单个二元对称信道的信道矩阵为 五. 组合信道的C 1.级联信道 此时C=0 2.输入并接信道 信道1 信道2 信道N C大于任意一个组成信道的信道容量。上界为 3.并用信道(独立并联信道) 1 2 N 4.和信道 信道1 信道2 信道N 即C为各组成信道的信道容量之和 六.N次扩展离散无记忆信道的信道容量 表示某时刻通过离散无记忆信道传输的最大信息量。 则： 对于离散无记忆信道有： 对于N次扩展信道，任何时刻 是相同的。 七.香农信道容量公式 限带、 加性白色高斯噪声的信道容量 ——著名的信道容量的 香农公式 S：输入信号平均功率 B：信道通带带宽 ：噪声的边带功率谱密度 ：信噪比 在这种信道中，输入输出信号和噪声都被限制在一定的频带中，一般设此频带为［０，B］。信道传输的费用就是信号的功率。又设信道的噪声为加性的、高斯的且具有平坦