信息论—基础理论与应用（第5版）PPT完整全套教学课件.pptx

【ch01】绪论.pptx

【ch02】离散信源及其信息测度.pptx【ch03】离散信道及其信道容量.pptx【ch04]波形信源和波形信道.pptx

【ch05】无失真信源编码定理.pptx

【ch06】有噪信道编码定理.pptx

【ch07】保真度准则下的信源编码.pptx

【ch08】无失真的信源编码.pptx

【ch09】信道的纠错编码，pptx

【ch10】网络信息论.pptx

【ch11】保密系统的基本信息理论.pptx

【ch12】信息论与其他学科的关系和应用.pptx【ch13】量子信息学科简介.pptx;

01

信息的概念;

①信息不等同于情报。

情报是人们对于某个特定对象所见、所闻、所理解而产生的知识。它只是一类特定的信息，不是信息的全体。

②信息也不等同于知识。

知识是人们根据某种目的，从自然界收集得来的数据中，整理、概括、提取得到有价值的、人所需的信息。知识是一种具有普遍和概括性质的高层次的信息。

知识是以实践为基础，通过抽象思维，对客观事物规律性的概括。知识信息只是人类社会中客观存在的部分信息。所以知识是信息，但不等于信息的全体。;

③信息也不等同于消息。

用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来就成为消息。

消息中包含信息，是信息的载体。得到消息，从而获得信息。同一则信息可用不同的消息形式来载荷。

④既然信息不同于消息，当然也不同于信号。

在各种实际通信系统中往往为了克服时间或空间的限制而进行通信，必须对消息进行加工处理。把消息变换成适合信道传输的物理量，这种物理量称为信号(如电信号，光信号，

声信号，生物信号等)。

信号携带着消息，它是消息的物理体现，是消息的运载工具。;

干扰或噪声

图1.2通信系统框图

本课件是可编辑的正常PPT课件;

(1)样本空间

我们把某事物各种可能出现的不同状态，即所有可能选择的消息的集合，称为样本空间。每个可能选择的消息是这个样本空间的一个元素

(2)概率测度

对于离散消息的集合概率测度就是对每一个可能选择的消息指定一个概率(非负的且总和为1)。

(3)概率空间

一个样本???间和它的概率测度称为一个概率空间。;

(4)自信息

在接收端对是否选择这个消息(符号)a;的不确定性是与a;的先验概率成反比的，即对ai

的不确定性可表示为先验概率P(a?)的倒数的某一函数。我们取该函数为对数函数，并把这样定义的不确定性称为该消息(符号)a;的自信息，即;

(5)互信息

由于信道中存在干扰，假设接收端收到的消息(符号)为b;,这个b;可能与a?相同，页可能与a?有差异。我们把条件概率P(a;|b,)称为后验概率它是接收端收到消息(符号)b;后而发送端发的是a;的概率。那么接收端收到b;后，发送端发送的符号是否是a;尚存在的不确定性，

应是后验概1率的函数，即是|。于是，收信者在收到消息(符号)b;后，已经消除的

不确定性为：先验的不确定性减去尚存在的不确定性。这就是收信者获得的信息量，定义为;

(6)香农信息定义的优点

①它是一个科学的定义，有明确的数学模型和定量计算。

②它与日常用语中的信息的含意是一致的。

③它排除了对信息一词某些主观上的含义。

(7)香农信息定义的缺点

①这个定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。

然而对实际某些事物运动状态或存在状态要寻找一个合适的概率模型往往是非常困难的。对某些情况来讲，是否存在这样一种模型还值得探讨。而且这个定义只考虑概率引发的不确定性，不考虑由于其他因素如模糊性等而造成的不确定性。

②这个定义和度量没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。;

世界是物质的。没有物质就没有世界，就没有一切，也就没有信息。可以说信息与物质同存信息是物质的一种普遍属性。

在物质世界中任何事物都处于永恒的运动和普遍的相互作用之中。只要有运动和相互作用的事物，就需要有能量，也就会产生各种各样事物运动的状态和方式。就产生信息。

信息是作为物质存在方式和状态的自身显示，同样也是相互作用的自身显示。可见，信息源于物质世界本身。源于物质世界的运动和相互作用之中所以信息是普遍存在的。

信息是物质的属性，但不是物质自身，信息具有相对独立性。

信息作为事物运动和相互作用的自身显示，与事物及它们的运动和相互作用一样是永恒的、无限的、动态的。;

信息具有以下特征：

①信息物质能量统一于事物一身，信息和物质一