《信息论与编码》课件1第6章.ppt

信源编码以提高信息系统的有效性为目的，通过消除信源的信息冗余减小每一信源符号的平均比特数，从而实现信源输出信息的有效表示和传输。信道编码则以提高信息传输的可靠性为目的，在充分利用信道信息传输能力的条件下，通过加入特定形式的冗余数据，使得编码序列具有发现和纠正传输误码的能力，从而实现信源信息的可靠传输。因此，提高系统的抗干扰能力往往是以降低系统的信息传输效率为代价的：反之，提高系统的传输效率又常常使抗干扰能力减弱。可见，在信息系统的研究和设计中，有效性和可靠性是一对相互矛盾的技术指标。信息理论和编码技术的研究将从信源、信道的统计关系出发，研究提高信息系统有效性和可靠性的基本理论和方法，使有效性和可靠性两者达到辩证的统一，从而实现信息系统的最优化。习题66.1已知离散无记忆信源。(1)试求X的二次扩展信源［X2,P］和H(X2);(2)试求X的三次扩展信源［X3,P］和H(X3);(3)验证H(X2)=2H(X)，H(X3)=3H(X)。6.2已知离散无记忆信源的概率空间计算此信源的相对熵和信源冗余度。6.3某平稳信源设它发出的符号只与前一个有关，已知联合概率分布如表6-2所示。(1)若认为信源符号间无依赖性，计算H(X)。(2)考虑题示符号间的相关性，计算H(X2|X1)、H(X1X2)和平均符号熵H2(X)。(3)验证H（X2|X1）H(X)、H(X1X2)2H(X)和H2(X)H(X)，并解释H2(X)H(X)的物理含义。表6-2题6.3表6.4已知平稳信源。(1)若认为信源是无记忆的，此信源的冗余度如何？(2)若认为此信源实际的熵近似为H2(X)，即Hx≈H2(X)，且已知两个符号的联合概率分布如表6-2所示，计算此时的冗余度。(3)由(1)和(2)的计算结果可得出什么结论？6.5证明平稳信源有H(X3|X1X2)≤H(X2|X1)，并说明等式成立的条件。6.6设有一个信源，它产生0，1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6的概率发出符号。(1)试问这个信源是否平稳?(2)试计算H(X2)、H(X3|X1X2)及。(3)试计算H(X4)并写出X4信源中可能有的所有符号。6.7有一信源，它在开始时以P(a)=0.6，P(b)=0.3，P(c)=0.1的概率发出X1。当X1为a时，X2为a、b、c的概率各为1/3：X1为b时，X2为a、b、c的概率各为1/3：X1为c时，X2为a、b的概率各为1/2，为c的概率为0。后面发出Xi的概率只与Xi－1有关，P(Xi|Xi－1)=P(X2|X1)，i≥3。利用马尔可夫信源的图示法画出状态转移图，并计算信源熵H∞。6.8一阶马尔可夫信源的状态图如图6-5所示，信源X的符号集为{0,1,2}，并定义。(1)求信源平稳后的概率分布P(0)、P（1）和P（2）。(2)求此信源的熵。(3)近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵H（X），并与H∞进行比较。(4)对一阶马尔可夫信源，p取何值时H∞取最大值?当p=0和p=1时，结果如何？图6-5题6.8图6.9一阶马尔可夫信源的状态图如图6-6所示，信源X的符号集为{0，1，2}。(1)求平稳后信源的概率分布。(2)求信源的熵H∞。(3)求当p=0和p=1时信源的熵，并说明其理由。图6-6题6.9图6.10黑白气象传真图的消息只有黑色和白色两种，即信源X＝{黑，白}，设黑色出现的概率P（黑）＝0.3，白色出现的概率P（白）＝0.7。(1)假设图上黑白消息出现前后没有关联，求熵H（X）。(2)假设黑白消息前后有关联，其依赖关系为P（白|白）＝0.9，P（黑|白）＝0.1，P（白|黑）＝0.2，P（黑|黑）＝0.8，求此一阶马尔可夫信源的熵H2。(3)分别求出上述两种信源的剩余度，并比较H（X）和H2的大小，说明其物理意义。由概率分布可知,状态一步转移概率为P(E1|E1)=P(E4|E4)=0.8P(E2|E1)=P(E3|E4)=0.2P(E3|E2)=P(E2|E3)=P(E4|E2)=P(E1|E3)=0.5其他状态转