第6章习题答案.doc

第6章习题答案 设已知离散无记忆信源在给定失真量度下的信息速率失真函数为,现定义新的失真量度。试证：在新的失真量度下信息速率失真函数。 证明： 对离散无记忆信源 证毕 6.2 设有带宽为4kHz的限带白色高斯信源，欲通过信道容量为16 kb/s的信道传输，试求在理想情况下信道输出端可能得到的最大信噪比。 答：理想情况下，当可以实现无误传输，即 将数值代入，可得 所以可能达到的最大信噪比为16。 6.3 设是N个正交规范化的N维向量。A是由组成的正交矩阵。N维随机向量X在正交变换下得到新的随机向量Z，，其中，，。令 ， 试证：所有正交变换中，变换所对应的Z有最小的熵。 证明： 1)设随机向量X的相关矩阵为，对应的K-L变换为矩阵，相应的特征值为，由题目条件可知 ，由，知，，从而 ，； 2)可展开为，，所以 由于是正交规范化向量，所以 令矩阵，于是有，且，即 ； (a) 所以； 3)记 由熵函数的凸性，及， 将(a)式代入上式，可得 ， 不等式右边即为K-L变换所对应得熵，所以结论成立。 6.4 设无记忆信源，接收符号，失真矩阵，试求：和及达到，时的转移概率矩阵。 答：，当转移概率矩阵为，满足； ，当转移概率矩阵为，，满足，。 6.5 已知二元信源X：以及失真矩阵，试求： 1) ； 2) ； 3) 。 答：； ； ，其中，。 6.6 设有总功率为10 mW的限带(0~5 kHz)白色高斯信源通过加性白色高斯噪声信道传输，后者的带宽为0~10 kHz，噪声的单边功率谱密度为1 (W/Hz，容许最大输入功率为20 mW。试求在理想情况下接收信号可以达到的最小均方误差。 答：， ， 理想状况下，，所以接收信号可以达到的最小均方误差为mW。 6.7 设有平稳高斯信源，其功率谱为 失真度量取，容许的样值失真为D，试求： 1) 信息速率失真函数； 用一独立加性高斯信道(带宽，限功率P，噪声的双边功率谱密度)来传送上述信源时，最小可能方差与的关系。 答： ，即最小可能方差为。 6.8 设有矢量信源，其各分量，，是K个独立的随机变量，失真，试证：在此条件下 其中，，满足。 证明： 所以有 等号当且仅当在转移概率满足独立性条件时，即 所以要使互信息最小，必定要设计编码器的转移概率独立，由于输入统计独立，所以只要设计各组成分量的互信息最小，而各组成分量的互信息的最小值为 ， 所以求即在约束条件 下求， 由拉格朗日求极值方法可知当 ，且满足时取得最小值。 6.9 设有离散无记忆信源X经编码后输出Y，失真矩阵的所有列是集合的某一置换。定义函数 1) 证明是D的上凸函数； 证明：。 证明 设概率分布满足，令满足的熵函数为，设满足，令满足的熵函数为，定义，且有，则有 (a) 又由熵函数的凸性可知， 又由的定义可知，所以有 (b) 由(a)，(b)可知函数是D的上凸函数。 证毕 2) 令，于是有 由于失真矩阵所有的列是集合的某一置换，也可看成是是概率分布 的某一置换和的内积，所以可以定义函数，于是由的凸性可得 所以有成立 证毕 B6-6 应用信息论基础 B6-1 习 题 答 案