信息论基础与编码 工业和信息化普通高等教育十二五 规划教材立项项目 教学课件 作者 王军选 田小平 曹红梅 01章.pptVIP

信息论与编码 第一章 概论 1.1 信息的基本概念 1.2信息论研究的对象和内容 1.3信息论的发展 1.1 信息的概念 信息是信息论中最基本、最重要的概念，既抽象又复杂，信息在日常生活中被认为是“消息”、“知识”、“情报”等 1.1 信息的概念 1.1 信息的概念 就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型： 离散(数字)消息，一组未知量，可用随机序列来描述： X=(X1…Xi…Xn) 连续(模拟)消息，未知量，它可用随机过程来描述： X( t, ω) 1.1 信息的概念 什么是信息 关于信息的科学定义，到目前为止，国内外已有不下百余种流行的说法，它们都是从不同的侧面和不同的层次来揭示信息的本质的。 1928年，哈特莱(R．V．L Hartley)，在《信息传输》一文中提出：发信者所发出的信息，就是他在通信符号表中选择符号的具体方式 局限性： 定义不涉及到信息的价值和具体内容，只考虑选择的方式。 即使考虑选择的方法，但没有考虑各种可能选择方法的统计特性。 1.1 信息的概念 1948年，维纳(N．Wiener) 在《控制论--动物和机器中通信与控制问题》一书中，指出：“信息是信息，不是物质，也不是能量”。将“信息”上升到“最基本概念”的位置。 后来，维纳在《人有人的用处》一书中提出：“信息是人们适应外部世界并且使这种适应反作用于外部世界的过程中，同外部世界进行互相交换的内容的名称。” 局限性：把信息与物质、能量混同起来。所以，维纳关于信息的定义是不确切的。 1.1 信息的概念 1948年，香农（C.E.Shannon） 发表了一篇著名的论文，“通信的数学理论”。 他从研究通信系统传输的实质出发，对信息作了科学的定义，并进行了定性和定量的描述。 信息是事物运动状态或存在方式的不确定性的描述 通信系统模型 编码器：把消息变换成适合于信道传输的信号。 信源编码器：将信源的输出进行适当的变换，以提高信息传输的有效性。 信道编码器：对信源编码器的输出进行变换，用增加多余度的方法提高信道的抗干扰能力，以提高信息传输的可靠性。 调制器：将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式，以适合在信道中进行较长距离的传输。 信道：信号由发送端传输到接收端的媒介。 典型的传输信道有明线、电缆、高频无线信道、微波通道和光纤通道等；典型的存储媒介有磁芯、磁鼓、磁盘、磁带等。 干扰源：对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性，所以信道的特征也可以用概率空间来描述；而噪声源的统计特性又是划分信道的依据。 干扰可以分为两类：1）加性干扰，它是由外界原因产生的随机干扰，它与信道中传送的信号的统计特性无关，因而信道的输出是输入和干扰的叠加；2）乘性干扰：信道的输出信号可看成输入信号和一个时变参量相乘的结果。 解调器：从载波中提取信号，是调制的逆过程 信道译码器：利用信道编码时所提供的多余度，检查或纠正数字序列中的错误。 信源译码器：把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。 信宿：消息传送的对象 （人或机器 ）。 在通信系统中形式上传输的是消息，但实质上传输的是信息。消息只是表达信息的工具、载荷信息的客体。显然，在通信中被利用的(亦即携带信息的)实际客体是不重要的，而重要的是信息。 通信的结果是消除或部分消除不确定性从而获得信息。 香农定义信息的局限性： （1）定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述，在实际中要寻找一个合适的概率模型往往是非常困难的。有时是否存在这样一种模型还值得探讨。 （2）定义没有考虑收信者的主观特性和主观意义，不顾信息的具体含意、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。其实，信息有很强的主观性和实用性。 信息的测度：信息量与不确定性消除的程度有关。 用数学的语言来讲，不确定就是随机性，可运用研究随机事件的数学工具----概率论和随机过程来测度不确定性的大小。 某一事物状态的不确定性的大小，与该事物可能出现的不同状态数目以及各状态出现的概率大小有关。既然不确定性的大小能够度量，所以信息是可以测度的。 与信息测度相关的几个概念： 样本空间、概率空间 、先验概率 、自信息 、后验概率 、互信息