信息论编码ppt剖析.ppt

第二章 信源及其熵 第一章的几个推论 通信系统模型： 2.1 信源的数学模型及分类 离散信源定义: 指发出在时间和幅度上都是离散分布的离散消息的信源，如文字、数字、数据等符号都是离散消息。 离散信源数学模型 在通信系统中,收信者在未收到消息以前,对信源发出什么消息是不确定的,随机的,所以可以用随机变量、随机矢量或随便过程来描述信源输出的消息，当信源给定，其相应的样本空间和概率分别（或概率密度函数）就给定，即概率空间就已给定，反之，如果概率空间给定，这就表示相应的信源已给定。概率空间能表征离散信源的统计特性，因此也称概率空间为信源空间。或者说可以用概率空间来描述信源. (1)单个符号的离散无记忆信源 特点:信源可能输出的消息数是可数的或者有限的,而且每次只输出一个符号代表一个消息. 例:扔一颗质地均色子,研究其下落后,朝上一 面的点数.那么研究其落下后,朝上一面的点数,必定有6种状态,构成互不相容的基本事件集合 那么该信源的样本空间就为 (2)符号序列离散无记忆平稳信源 离散平稳信源:信源发出的符号都相互统计独立，即各随机变量Xi (i＝1,2,…,N)之间统计独立,且随机矢量X的各维概率分别都与时间起点无关. 总结:如果有一离散信源,取值于集合ai ＝(a1a2…aq),其输出消息序列可用一组组长度为N的序列表示,这时,它就等效为一个新的信源,新信源每次输出的是长度为N的消息序列,用N维离散随机矢量来描述,记为X=(X1,X2,…XN),其中每个分量Xi都是随机变量,都取值同一集合?i ＝(a1a2…aq),且分量之间统计独立,则由随机矢量X 组成的新信源称为离散无记忆信源X的N次扩展信源 (3)符号序列离散有记忆信源 信源在不同时刻发出的符号之间是相互依赖的，即信源输出的平稳随机序列X中，各随机变量Xi之间相互依赖。 需在N维随机矢量的联合概率分布中，引入条件概率分布来说明它们之间的关联。 例：汉字组成的中文序列中，只有根据中文的语法、习惯用语、修辞制约和表达实际意义的制约所构成的中文序列才是有意义的中文句子或文章。所以，在汉字序列中前后文字的出现是有依赖的，不能认为是彼此不相关的。其他如英文，德文等自然语言都是如此 (4)符号序列的马尔可夫信源 不同时刻发出的符号间的依赖关系的条件概率为 连续信源 定义：指输出在时间和幅度上都是连续分布的连续消息的信源． 特点：输出是单个符号（代码）的消息，输出消息的符号集A的取值是连续的，可用一维的连续型随机变量X 来描述。 例：语音信号、热噪声信号、遥控系统中有关电压、温度、压力等测得的连续数据等等。 数学模型：连续型的概率空间。即： 若信源输出的消息用N维随机矢量X=(X1,X2,X3……,XN)来描述,其中每个随机分量Xi (i＝1,2,…,N)都是取值为连续型随机变量,即Xi 的可能取值是不可数的无限值,满足随机矢量Xi的各维概率密度与时间起点无关,这样的信源为连续平稳信源.如语音信号,热噪声信号.他们在时间上是离散的，但是每个随机变量Xi取值都是连续的， 实际信源输出的消息常常是时间和取值都是连续的。而某一固定时间 t0 的可能取值又是连续和随机的。对于这种信源输出的消息，可用随机过程来描述,这种信源我们称为随机波形信源. 例：语音信号X(t)、热噪声信号n(t)、电视图像信号X(r(t),g(t),b(t))等时间连续函数。 研究随机波形信源一般对随机过程进行取样,把随机过程用一系列时间或者频率上离散的取样值表示,每个取样值都是连续型随机变量,即转化为连续平稳信源,再对每个取样值进行量化,即把连续信源转化为离散信源来处理. 2.2 离散信源的信息熵其性质 讨论基本的离散信源(即输出为单个符号的消息，且这些消息间两两互不相容) 基本的离散信源可用一维随机变量X来描述信源的输出，信源的数学模型可抽象为: 信息的度量 考虑： 信息的度量（信息量）和不确定性消除的程度有关，消除的不确定性＝获得的信息量； 不确定性就是随机性，可以用概率论和随机过程来测度，概率小－不确定性大； 推论： 概率小 －信息量大，即信息量是概率的单调递减函数； 信息量应该具有可加性； 信息量的计算公式为（香农（自）信息量的度量）： 自信息量的单位取决于对数的底； 底为2，单位为“比特（bit, binary unit）”； 底为e，单位为“奈特（nat, nature unit）”； 底为10，单位为“哈特（hat, Hartley）”； 根据换底公式得： 2.2.1.自信息 设离散信源X的概率空间为： [例] 8个串联的灯泡x1，x2，…，x8，其损坏的可能性是等概率的，现假设其中有一个灯泡已损坏，问每进行一次测量可获得多少信息量？