第5章节离散信道的信道容量.ppt

* * * * * * 第五章 离散信道的信道容量 第五章? 离散信道的信道容量 内容提要： 信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并定义信道容量。 本章重点： 1.信道容量的定义； 2.平均互信息量达到信道容量的充要条件； 3.几种特殊离散信道信道容量的计算。 5.1 信道容量的定义 信息传输率是衡量通信质量的一个重要指标，由定理2.1知：对于固定信道，总存在某种输入概率分布q(x)，使I（X; Y）达到最大值，定义这个最大值为信道容量，记为C。 （比特/码符号） （5-2） 使I（X; Y）达到信道容量的分布q (x)为最佳分布。 5.2 离散无记忆信道容量的计算 定理5.1 如果信道是离散无记忆（DMC）的，则CN ? NC， 其中C是同一信道传输单符号时的信道容量。 下面一条定理给出了一维信道和N维信道的信道容量之间的关系。 若信道离散无记忆，则根据[定理2.4]有： 若 （1） 输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有： （2）对每个i,输入分布q (xi) 可使I (Xi; Yi) 达到信道容量C，则： = = NC CN ? NC (5-5) 综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，有CN = NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。 5.2.1 达到信道容量的充要条件 定理5.2 使平均互信息量I（X; Y）达到信道容量C的充要条件是信道输入概率分布 ，简记为q (X) = {q (x1), q (x2), …, q (xM)}满足： (5-6) 介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。 【例5.2】 无损信道 无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图5-2所示，信道输入符号集X ={x1, x2, x3}，输出符号集Y ={y1, y2, y3, y4, y5 , y6}，其信道转移概率矩阵记为 ，计算该信道的信道容量。 图5-2 无损信道 x1 x2 x3 y1 y2 y3 y5 y6 2/6 1/6 3/6 1/2 1/2 1 y4 2. 根据定义计算信道容量C 从上式可看出，求信道容量C的问题转化为寻找某种分布q (x) 使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时 ，熵值达到最大，即有 1. 先考察平均互信息量I（X; Y）= H（X）-H（X︱Y），在无噪信道条件下，H（X︱Y）= 0，则平均互信息量I（X; Y）= H（X） 3. 根据平均互信息量I（X; Y）达到信道容量的充要条件式（5-6）对C进行验证： 先根据计算出ω(yj)， j =1,2,3,4,5,6 再计算出： 5.2.2 几类特殊的信道 定义5.1 如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。 定义5.2 如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。 定义5.3 如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。 1. 准对称信道 【例5.6】 信道输入符号集X = {x1, x2}，输出符号集Y = {y1,