2.1基本息论例题及其分析.doc

第2章 基本信息论 信源是消息的来源， 信道是消息传送媒介， 信宿是消息的目的地。 Shannon信息论的中心问题 “信息论”，又称为“通信的数学理论”，是研究信息的传输、存储、处理的科学。 信息论的中心问题：为设计有效而可靠的通信系统提供理论依据。 （具体地说，就是信源编码和信道编码。以下来看所要解决的具体问题。） 问题一：信源消息常常不能够完全发送。（否则发送量巨大，比如：无尽的天空。因此优先捡有用的发送） 问题二：信道因干扰而出现差错，如何进行检错和纠错。 第一个重要概念：信道上传送的是随机变量的值。注意： （1）这就是说，我们在收到消息之前，并不知道消息的内容。否则消息是没有必要发送的。 （2）消息随机变量有一个概率分布。 （3）消息随机变量的一个可能取值就称为一个事件。 第二个重要概念：事件发生的概率越小，此事件含有的信息量就越大。（不太可能发生的事件竟然发生了，令人震惊） 例 事件“中国足球队3：0力克韩国足球队”含有的信息量大。（小概率事件发生了，事件信息量大） 例 事件“中国足球队0：1负于韩国足球队”含有的信息量小。（大概率事件发生了，事件信息量小） 第三个重要概念：消息随机变量的随机性越大，此消息随机变量含有的信息量就越大。 例 消息随机变量X=“中国足球队与韩国足球队比赛的结果”，则消息随机变量X含有的信息量小。 （随机性小，可预见性大，因此该消息随机变量含有的信息量小。） 例 消息随机变量X=“意大利足球队与德国足球队比赛的结果”，则消息随机变量X含有的信息量大。 （随机性大，可预见性小，因此该消息随机变量含有的信息量大。） 第四个重要概念：两个消息随机变量的相互依赖性越大，它们的互信息量就越大（这里指的是绝对值大）。 例 X=西安明日平均气温, Y=咸阳明日平均气温，Z=北京明日平均气温，W=纽约明日平均气温。则 X与Y互信息量大， X与Z互信息量小得多， X与W互信息量几乎为0。 信息的可度量性-建立信息论的基础； 信息度量的方法:结构度量﹑统计度量﹑语义度量﹑模糊度量等； 统计度量：用事件统计发生概率的对数来描述事物的不确定性，得到消息的信息量，建立熵的概念； 熵概念是香农信息论最基本最重要的概念。 离散信源：可能输出的消息是有限的或可数的，每次只输出一个消息，即两两不相容。 连续信源：可能输出的消息数是无限的或不可数的，每次只输出一个消息。 离散无记忆信源：离散信源在不同时刻发出的符号之间是无依赖的，彼此统计独立的。 离散无记忆信源X的N次扩展信源：由离散无记忆信源输出N长的随机序列构成的信源。 有记忆信源：输出的随机序列X中各随机变量之间有依赖关系，但记忆长度有限。 m阶马尔可夫信源：信源每次发出的符号只与前m个符号有关，与更前面的符号无关。 X，Y代表随机变量，指的是信源整体； xi,yi代表随机事件的某一结果或信源的某个元素。不可混淆! 概率复习 将（3）代入（6）得到实用公式。 2.1信源及信源的不确定性 实际有用的信源应具有不确定性(也称为不肯定性)。 2.1.1不确定性的概念 [例2.1.1]如某二元信源(含有两个不同消息的信源)发送1的概率为0.99，而发送0的概率为0.01，信宿仅凭猜测就可以简单地认为信源发出的消息始终都是1，即使如此，猜错的概率(差错率)也可以较低，仅为百分之一。说明在这种情况下，信源基本上在发送1，信源的不确定性很小。 [例2.1.2]如果二元信源发1和发0的概率相等，均为0.5，这时信宿如果不依赖通信而猜测的话，其差错率就高达百分之五十，即会猜错一半。说明信宿要猜测信源发什么消息困难了，因为信源发什么消息相当不确定。 [例2.1.3]如果信源具有更多的消息，例如发10个阿拉伯数字0，1…9（例如采用四位十进制数的中文电报）而且假定这10个消息是等概率分布的，均为十分之一，这对于信宿来讲更难猜了，因为现在变成了猜测10个消息里到底发的是哪一个的问题，显然比两个里猜一个难多了，因为信源发什么消息更不确定了。 [例2.1.4]现在讨论一种极端的情况。信源只发送一种消息，即永远只发送1（信源相当于一个直流电源，例如+5V的稳压电源）或者永远只发送0（信源相当于一个电能耗尽，输出为0V的电池，或一根电阻为零的短路导线），现在从这样的信源我们不可能获得任何消息，相当于我们从一节电池不可能获得任何例如语音或图像的信息（只可能获得能量）。如果信源只发出一个确定的消息，则信源的不确定性为零。一个实际有用的信源应具有至少两种消息。可以用概率空间描述信源。 对于信源 ，其概率空间为： 　　 X P(X) 　　(2.1.1) 各消息出现的概率满足： 0≤p(xi)≤1 ∑p(xi)=1 (2.1.2)和(2.1.3) 　根据以