第二章信息论综述.ppt

第二章 信息论; 信息论最初是一种专业性很强的通信理论，主要研究通信领域中的信息的量化问题。后来由于信息的普遍性和信息论的广泛应用，信息论发展成为新兴的边缘学科—信息科学。 信息论是研究信息的产生、识别、获取、传输、存储、处理和利用的理论和技术，主要解决对信息的认识问题，研究信息的描述和度量以及信息传输的理论。;第一节 信息概述; 维纳信息定义的改进 信息是控制系统进行调节活动时与外界相互作用、相互交换的内容。 通讯领域 信息是关于客观事物的可通讯的知识。 系统开发领域 信息是经过加工处理的具有特定含义的数据，它对使用者的行为具有现实的或者潜在的价值。 信息论的定义 从客观角度上讲信息是物质和能量在空间和时间上分布的不均匀程度，或者说信息是关于事物运动的状态和规律。从使用者角度上???信息是关于事物运动状态和方式的知识。;2、信息的基本特征 客观性 知识性 共享性 传播性 时效性 价值性 无限性 ;3、分类 哲学角度 主观信息 客观信息 系统与环境的关系 外部信息 内部信息 效用 有用信息 无用信息 事物运动方式 确定信息 概率信息 模糊信息;二、信息论的产生与发展 1、信息论的产生 背景 生产社会化程度的提高迫切要求通信技术解决一系列信息问题：怎样从各种接收信号中虑去各种噪声，怎样才能充分利用信道容量等问题的研究逐渐形成了信息论。 雏形 20世纪20年代，卡森纠正了当时流行的“可以通过调频将载频的频带扩大”的错误观点; 1924年，奈奎斯特提出电信号的传输速率与频道带宽有比例关系。 1928年，哈特莱发表了《信息传输》，第一次把信息和消息区别开来，并首次提出信息量的概念，同时指出可以用消息出现的概率的对数来度量信息量。 维纳信息论 维纳从控制和通信的角度研究了信息问题，以自动控制的观点解决了信号被噪声干扰时的处理问题，建立了“维纳滤波理论”，从而扩大了信息论的研究范围。;申农信息论 申农使信息论成为了一门独立的学科，主要解决了信息编码问题和如何提高通信的效率和可靠性。 《通信中的数学理论》和《在噪声中的通信》集中了申农的研究成果，系统的论述了信息理论，奠定了现代信息论的基础。 基本理论： 把信息抽象为一个单纯的量，并用数学方法进行量化的描述 抽象出了通信系统模型 初步解决了信息的提取、表达的问题; 信息的层次 统计信息/语法信息/客观信息 语义信息 价值信息 申农信息论的局限性 信息量的相等与接收者的主观方面有关 相同的信息对于不同的接收者价值不同 不能对模糊信息定量描述;4、信息论的研究范畴 狭义信息论，即通信的数学理论，主要研究狭义信息的度量方法，研究各种信源、信道的描述和信源、信道的编码定理。 实用信息论，研究信息传输和处理问题，也就是狭义信息论方法在调制解调、编码译码以及检测理论等领域的应用。 广义信息论，包括信息论在自然和社会中的新的应用，如模式识别、机器翻译、自学习自组织系统、心理学、生物学、经济学、社会学等一切与信息问题有关的领域。 ;第二节 信息论基础知识;通信系统模型 ;这个模型包括以下五个部分：;离散信源及其数学模型 ;补充解释 信源和信宿 信源亦称信息源，它能够形成和发送一组有待于传输给接收端的消息或消息序列。 信宿即信息接受者，它能够接收信息并使信息再现从而达到通信的目的。 说明： 信源和信宿是多方面的，既可以是人，也可以是物 信源和信宿是相对的 信源发出的信息对于信宿来说是不确定的;信道和噪声 信道是传输信息的媒介，是信源和信宿交换信息的通路。他不但具有传输信息的作用，同时也具有存储信息的任务。 噪声是除信源发出的信号以外的各种干扰信号，包括系统外噪声和系统内噪声两部分，它会造成信息失真。 编码和译码 编码就是把信息转换成信号的过程。一般来说编码分为两部分：一是信源编码，把信源输出的符号序列用某个给定的字母表中的字母组编成最佳字母序列；二是信道编码，就是把信源编码后的字母序列变换成适于在信道中传输的最佳信号序列。; 译码是编码的逆过程，它把信道中传输过来的信号转换成信息序列。 通信系统模型的应用 普适性 抽象性 描述了通信过程的各个环节;二、通信的可靠性;二、通信的可靠性;三、通信的效率 1、影响通信效率的因素 传信率 指一条信道在单位时间内传递的信息量。 传信率越高，通信效率越高。 编码效率 不同的编码方式码字所载的平均信息量不同，相同条件下码字所载的信息量越多，编码的效率越高，通信的效率也就越高。 信道容量 指信道在单位