第02章：信息科学基本概念.ppt

信息与通信技术学科概论 长春工业大学图像工程研究所 史东承教授 第2章：信息科学基本概念 信息的传递与交换能够又多、又快、又好、又经济是人类活动最为普遍的愿望，并且人们希望能够对信息进行定量分析。 1948年，香农（C.E.Shannonn）在发表的《通信中的数学模型》一文中建立了狭义信息论的基本理论，对信息的度量问题给出了明确的定义。 狭义信息论的基本思想是把信息作为通信过程中的消息来处理，通信的内容（符号）的传递具有一定的形式。 通信系统模型 通信系统模型 信源产生待传输的消息，消息的形式是多种多样的，如字母、文字、旗语、数据、语声、音乐和图像等（这些都可视为符号序列）。但是消息不同于信息，它是信息的载体。发送机将消息变换为适合于信道的信号，信号成为信息的载体。变换指的是从消息转变为信号的全过程，其中最主要的是编码与调制。信道是信号从发送机传输到接收机的媒质，如导体、传播电磁波的自由空间和光导纤维等。信号在传输途中总要遇到一些干扰产生不可预计的损害，这些干扰被称为噪声，系统各部分的噪声的总和以噪声源表示。接收机是发送机的对应端，它将信号再变换为消息。但是，由于接收信号受到噪声的干扰导致输出的消息中存在失真或错误而丢失部分信息。信宿是被传输信息的归宿，也就是消息的接受者。 信息论简介 狭义信息论 认为 通信对象的信息（符号序列）一般具有统计特性，因此研究的数学工具以概率论与数理统计为基础工具；通信的目的是一种信息的交流，由于对方不知道或者本人有疑问，为了解除疑问需要通信，通信的过程是疑问解除的过程，也是信息获取与交流的过程，在信息交流的过程中，疑问（不确定性）的解除量等价于获取的信息量。也就是说，获取的信息量等价于通信前后“不确定性”的消除量。由于“不确定性”代表有“多种可能的结果”，因此必须用概率来度量。“不确定性”是关于某一个事件x的概率P(x)的函数。即信息量I=f(P(x))。 信息论简介 狭义信息论主要的研究领域为：通信的有效性、通信的可靠性、通信的保密性三个方面。 通信的有效性指数据压缩或称信号压缩编码，其目的是减少通信信源的数据量，节省通信带宽； 通信的可靠性指数据传输失真或传输误码率的减少，使传输过程更准确； 通信的保密性指通信过程中，通信的内容不应当被非授权的第三方获取。 狭义信息论的主要研究内容为：信息侧度、信道容量、信源编码和信道编码理论等内容。 信息论简介 广义信息论主要研究信息传输和信息处理问题。含香农基本理论、噪声理论、信号滤波和预测、统计检测与估值理论、调制理论、信息处理理论、保密理论等内容。同时广义信息论同时包含狭义信息论研究内容。 广义信息论还研究包含所有的有关信息的自然和社会科学领域，如：模式识别、计算机翻译、心理学、遗传学、语言学、神经生物学、语义学、计算机科学等等。 2.1信息的概念与描述 信息定义： 信息是认识主体所感知的或所表述的客观事物运动的状态和状态改变方式。运动分为内部运动与外部运动；内部运动指事物内部结构状态及其变化；外部运动指事物外部的联系及其相互作用。客观事物即指外部客观世界的实在客体，同时又指主观世界的精神现象。 三类基本的信息定义 第一类：字典和百科全书中的解释 英国：牛津字典——信息是谈论的事情、新闻和知识。 韦氏字典——信息是观察、研究过程中获得的数据、情报、新闻和知识。 日本：广辞苑——信息是所观察的知识等。 对于上述定义的归纳可以看出人们常常把消息中有意义的内容称为信息。 三类基本的信息定义 第二类：科学家的定义 香农（C.E.Shannon）对信息的定义——信息是事物的“不确定性”的度量。因此，信息可以描述为确定性的增加，人们收到信息获得的信息量就是确定性的增加量。 1948年，美国数学家、信息论的创始人香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除随机不定性的东西”。 艾什比（William Ross Ashby）对信息的定义——信息是事物的“差异性”的度量。艾什比是控制论创始人之一、英国生物学家（William Ross Ashby，1903-1972）。 维纳（N.Wiener）对信息的定义——信息是事物的“组织性”的度量。 三类基本的信息定义 周戟教授对信息的定义：信息是系统的组成部分，是物质和能量的形态、结构、属性、和含义的表征，是人类认识客观的纽带。物质表现为具有一定质量、体积、形状、颜色、温度、强度等性能。这些物质的属性都是以信息的形式表达的。人们通过信息认识物质、认识能量、认识系统、认识周围世界。 邓宇2002年提出的”信息”概念与定义：“信息是事物现象及其属性标识的集合。 三类基本的信息定义 鈡义信教授给出的信息定义：信息是认识主体所感知的或所表述的客观事物运动的状态和状态改变方式。运动分为内部运动与外部运动；内部运