信息论与编码新题.ppt

* 第一页，共三十八页，2022年，8月28日 §1.1 信息的概念 内容： 1.1.1 信息的定义 1.1.2 信息的特征与性质 * 第二页，共三十八页，2022年，8月28日 信息是一个十分通俗而广泛的名词，抽象和复杂。 不同的学科领域对其有不同的定义和解释。 * 第三页，共三十八页，2022年，8月28日 1.1.1 信息的定义 消息、新闻与知识 据《新词源》考证，唐代诗人李中，《暮春怀故人》，“梦断美人沉信息，目穿长路倚楼台”，“信息”是消息的同义词； 在西方的早期文献著作中，信息(information)和消息(message)也是互相通用的； 英国牛津字典中，信息是谈论的事情、新闻和知识(sth told;news or knowledge given); 韦氏字典中，信息是在观察研究过程中获得的数据情报、新闻和知识。 * 第四页，共三十八页，2022年，8月28日 维纳（Wiener）：美国数学家、控制论奠基人 《控制论：动物与机器中的通信与控制问题》1948 “信息就是信息，不是物质，也不是能量” 利用排他法告诉人们：信息不是物质和能量。这是对信息本质的最有原则性和最深刻的宣示，是把信息、物质和能量”放在同样地位上的最早科学论断。 香农（Shannan):美国学者、信息论创始人 在《贝尔系统技术》杂志“通信的数学理论”1948 把信息与信息的度量作为事物的“不肯定性”与 “不肯定性”的度量。 以概率为工具，阐述了通信工程的基本理论问题，给出了计算信源信息量和信道容量的方法，得到了表征信息传递重要关系的编码定理。 * 第五页，共三十八页，2022年，8月28日 布里渊（Brillouin）：法裔美国科学家 名著《科学与信息论》 信息就是负熵(Negentropy) 维纳在《控制论与社会》1950 ，正如熵是无组织程度的度量一样，消息集合所包含的信息就是组织程度的度量，事实上完全可以将消息包含的信息解释为负熵。 M.Tribes等《科学的美国人》“能量与信息” 1971 信息是使概率分布发生变动的东西 概率是对知识状态的一种数值编码。某人对一个特定问题的知识状态可以这样表示，即对这个问题种种想得出的答案各分配一定的概率；如果对这个答案完全了解，对其中一个赋予1，其他为0. * 第六页，共三十八页，2022年，8月28日 艾什比(Ashiby)：英国生物学家，控制论奠基人 《控制论导引》引入“变异度”的概念 信息定义为变异度 任何一个集合所包含的元素数目以2为底的对数称为这个集合的变异度；将变异度当作信息的概念来使用（1956）。变异度实际是均匀概率分布条件下的香农熵。 事实上，半个多世纪以来，科学文献中提出过的信息定义数以百计。不同的作者从不同的角度在不同的条件下对信息进行考察的结果。 * 第七页，共三十八页，2022年，8月28日 钟义信 主编《信息科学与技术导论》一书： 根据不同的约束条件，区分不同的层次给出信息的定义，同时根据约束条件的增减，使信息的定义随之进退。 * 第八页，共三十八页，2022年，8月28日 没有任何约束条件的层次是最高层次，最普遍适用的层次，称为本体论层次。 引入一个约束条件，最高层次的定义退变为次高层次的定义，适用范围比最高层次定义的范围窄；若引入的约束条件具有主体（人、生物和机器）存在，并且从主体的立场出发来定义信息，本体论层次信息定义就转化为认识论层次信息定义。 引入的约束条件越多，层次越低，适用范围越窄。 * 第九页，共三十八页，2022年，8月28日 本体论层次的信息定义：是事物的运动状态极其变化方式的自我表述。 认识论层次的信息定义：指主体所感知（或所表述）的关于该事物的运动状态极其变化方式，包括这种状态或方式的形式、含义和效用。 在这个体系下，各种有关信息的定义在不同层次上找到位置。 * 第十页，共三十八页，2022年，8月28日 1.1.2 信息的特征与性质 1、特征 1）信息来源于物质，又不是物质本身，它从物质的运动 中产生出来，又可以脱离源物质而寄生于其它物质（媒体），相对独立的存在。 2）信息也来源于精神世界，但是又不限于精神世界。 3）信息与能量息息相关，但又与能量有质的区别。 4）信息可以被提炼成知识，但信息本身不等于知识。 5）信息是具体的，可以被主体（人，生物和机器）所感知、提取和识别，可以被传递、存储、