信息论基础 普通高等教育十一五 国家级规划教材 教学课件 作者 田宝玉 杨洁 贺志强 王晓湘 chapter1.ppt

信息论即仙农(Claude Edwood Shannon, 1916—2001 )信息论，也称经典信息论，是研究通信系统极限性能的理论。从信息论产生到现在几十年来，随着人们对信息的认识不断深化，对信息论的研究日益广泛和深入，信息论的基本思想和方法已经渗透到许多学科，在人类社会已经进入信息时代的今天，信息理论在自然科学和社会科学研究领域还会发挥更大的作用。 信息的基本概念 仙农信息论所研究的内容 仙农信息论产生的背景、主要的研究进展及其应用 §1.1 信息的基本概念 信息论的产生 信息的基本概念 信息论的基本内容 物质 客观世界三大基本要素 能量 信息 信息时代社会的发展离不开物质(材料)、能量（能源）和信息资源。美国学者欧廷格说：“没有物质什麽都不存在，没有能量什麽都不发生，没有信息什麽都没意义。” 通信的基本问题：在一点精确地或近似地恢复另一点所选择的消息。 通信系统三项性能指标： 传输的有效性 传输的可靠性 传输的安全性 有效性 对于离散信源，信源符号平均码长度应尽量短； 信息传输应尽量快，即高的传信率； 信息传送应该有高的频谱利用率 。 可靠性 传输差错要尽量少 ，对数字传输就是要求低的误码率。 安全性 传输的信息不能泄露给未授权人。 　三项指标所对应的三项基本技术： 　数据压缩 　数据纠错 　数据加密 　　仙农信息论解决了前两项技术的理论问题：提高有效性可通过信源编码来实现，即信源压缩编码，并给出了压缩编码的极限；提高可靠性通过信道编码来实现，并给出实现可靠传输的信息传输速率的极限。所以说，仙农揭示了数据压缩和传输的基本定律。 实际上传输安全性的问题也是仙农解决的。 1945年，他写了《密码学的数学理论》（A Mathematical Theory of Cryptography），1949年改名为《保密系统的通信理论》（Communication Theory of Secrecy System）公开发表。这篇文章建立了保密系统的数学理论，对密码学产生了很大的影响 。 所以说，仙农建立了通信中的三项基本技术的理论基础,信息论是前两项技术的理论基础。 1.1.2 信息的基本概念 由于信息已成为许多专家学者争相研究的对象，而且他们从不同的角度和侧面研究和定义信息。据说到目前为止已有上百种信息的定义或说法。例如，“信息是事物之间的差异”，“信息是物质与能量在时间与空间分布的不均匀性”，“信息是收信着事先不知道的东西”等等。 如前所述，由于当前还没有一个公认的关于信息的定义，但这并不影响我们对信息的基本特征的认识。信息有许多与物质、能量相同的特征，例如信息可以产生、消失、携带、处理和量度。信息也有与物质、能量不同的特征，例如，信息可以共享，可以无限制地复制等。 1949年，Weaver在《通信的数学》中解释仙农的工作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？（语义问题） 第三层：所接收的含义如何以所需要的方式有效地影响行为？（效用问题） Weaver认为仙农的工作属于第一层，但他又证明仙农的工作是交叉的，对第二、三层也有意义。 信息是认识主体（人、生物、机器） 所感受的和所表达的事物运动的状态和运动状态变化的方式。 以这种定义为基础，信息分成三个基本层次，即语法信息，语义信息，语用信息，分别反映事物运动状态及其变化方式的外在形式、内在含义和效用价值。 与Weaver对信息的解释基本一致。 信息的三个基本层次： 语法(Syntactic)信息 语义(Semantic) 信息 语用(Pragmatic)信息 语法(Syntactic)信息 它是事物运动的状态和变化方式的外在形式，不涉及状态的含义和效用。象语言学领域的“词与词的结合方式”，而不考虑词的含义与效用。在语言学中称为语法学。语法信息还可细分为，概率信息、偶发信息、确定信息、模糊信息等。 语义(Semantic) 信息 是事物运动的状态和变化方式的含义。在语言学里，研究“词与词的结合方式含义”的学科称为