信源与信源熵4.ppt

信源与信息熵 第二章 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源熵 2.4 连续信源的熵和互信息 2.5 冗余度 2.3.1 离散无记忆信源的序列熵 离散无记忆信源的序列熵 发出符号序列的信源 离散无记忆信源的序列熵 随机序列的概率为 离散无记忆信源的序列熵 信源的序列熵 离散无记忆信源的序列熵 若又满足平稳特性,即与序号l无关时： 离散无记忆信源的序列熵 离散无记忆平稳信源平均每个符号的符号熵 就等于单个符号信源的符号熵H(X)。 例:有一个无记忆信源随机变量X∈(0,1),等概率分布,若以单个符号出现为一事件,则此时的信源熵: 例:有一离散平稳无记忆信源 2.3.2 离散有记忆信源的序列熵 对于由两个符号组成的联合信源,有下列结论: 若信源输出一个L长序列,则信源的序列熵为 由 p(ai,aj) = p(ai) p(aj| ai) 计算得联合概率p(ai aj)如表2 平均每一个信源符号携带的信息量近似为: 离散平稳信源 对于离散平稳信源,其联合概率具有时间推移不变性，有下列结论： ⑴ 条件熵H (XL|XL-1) 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵，而条件熵必小于或等于无条件熵。 结论表明 “输出序列的相关性随着L的增大而增大”。 ⑶ 是L的单调非增函数 - 平均符号熵随着L的增大而减小； ⑷ 当 时 马尔可夫信源的信息熵 马尔可夫信源 例三状态马尔可夫信源 2.1 信源的描述和分类 2.2 离散信源熵和互信息 2.3 离散序列信源的熵 2.4 连续信源熵和互信息 2.5 冗余度 2.4.1 幅度连续的单个符号信源熵 ● 基本连续信源的输出是取值连续的单个随机变量，可用变量的概率密度 来描述。此时，连续信源的数学模型为： ●对于连续变量，可以用离散变量来逼近，即连续变量可以认为是离散变量的极限情况。量化单位越小，则所得的离散变量和连续变量越接近。因此，连续变量的信息度量可以用离散变量的信息度量来逼近。 把连续信源概率密度的取值区间[a,b]分割成n个小区间，各小区间设为等宽 ，那么，X处于第i 区间的概率 是： 这样连续变量X就可以用取值为 的离散变量 来近似。连续信源X被量化为离散信源： 且 这时离散信源 的熵是： 一般情况下，上式的第一项是定值，而当 时，第二项是趋于无限大的常数。所以避开第二项，定义连续信源的熵为： 　 一方面，这样定义可与离散信源的熵在形式上统一起来（这里用积分代替了求和）； 另一方面，因为在实际问题中，常常讨论的是熵之间的差值，如平均互信息等。在讨论熵差时，只要两者离散逼近时所取的间隔一致，无限大项常数将互相抵消掉。由此可见，连续信源的熵　 称为相对熵或差熵，以区别于原来的绝对熵。 这样定义的熵虽然形式上和离散信源的熵相似，但在概念上不能把它作为信息熵来理解。连续信源的差熵值具有熵的部分含义和性质，而丧失了某些重要的特性。 同理，可以定义两个连续变量X、Y的联合熵和条件熵，即 它们之间也有与离散信源一样的相互关系，并且可以得到有信息特征的互信息 2.4.2 波形信源熵 波形信源： – 输入和输出幅值连续，时间或频率也连续。 平稳随机过程 采样 平稳随机序列 令平稳随机矢量 那么对于随机波形信源，可由上述各项的极限表达式 给出，即： 对于限频fm，限时tB的平稳随机过程，可以用有限维L=2fmtB随机矢量表示。 2.4.3 最大熵定理 　在离散信源中，当信源符号等概率分布时信源的熵取最大值。在连续信源中，差熵也具有极大值，但其情况有所不同。除存在完备集条件 以外，还有其它约束条件。当各约束条件不同时，信源的最大熵值不同。 　　 通常我们最感兴趣的是两种情况：一种是信源的输出值受限；另一种是信源的输出平均功率受限。下面分别加以讨论。 （1）峰值功率受限条件下信源的最大熵定理： 若信源输出的幅度被限定在[a，b]区域内，则当输出信号的概率密度是均匀分布时，信源具有最大熵。