第三章 信息论基础知识(Part2).docx

第三章 信息论基础知识(Part2) 信息论根底学问主要内容：信源的数学模型 信源编码定理 信源编码算法 信道容量 通信的容限第 1 页 2011-2-21引言一、信息论的讨论范畴 信息论是讨论信息的根本性质及度量方法，讨论信息的猎取、传输、存储和处理的一般规律的科学。 狭义信息论：通信的数学理论，主要讨论信息的度量方 法，各种信源、信道的描绘和信源、信道的编码定理。 有用信息论：信息传输和处理问题，也就是狭义信息 论方法在调制解调、编码译码以及检测理论等领域的应用。 广义信息论，包括信息论在自然和社会中的新的应用， 如形式识别、机器翻译、自学习自组织系统、心理学、生物 学、经济学、社会学等一切与信息问题有关的领域。第 2 页 2011-2-21二、信息论答复的问题通信信道中，信息可以牢靠传 输的最高速率是多少？噪声信道编码定理 噪声信道编码定理信息进展压缩后，依旧可以从已压 缩信息中以无过失或低过失复原的 最低速率是多少？香农信源编码理论 香农信源编码理论最正确系统的冗杂度是多少？第 3 页2011-2-21三、香农的奉献香农(Claude Elwood Shannon,1916～2001年)， 美国数学家，信息论的创始人。制造性的采纳概率论的方法来讨论通信中的问题，并且对 信息赐予了科学的定量描绘，第一次提出了信息熵的概念。 1948年，《通信的数学理论》(A mathematical theory of communication ) 以及1949年，《噪声下的通信》标记了信息论的创立。 1949年，《保密通信的信息理论》，用信息论的观点对信息保密问题做了 全面的阐述，奠定了密码学的根底。 1959年，《保真度准那么下的离散信源编码定理》，它是数据压缩的数学基 础，为信源编码的讨论奠定了根底。 1961年发表“双路通信信道〞，开拓了多用户信息理论〔网络信息论〕的研 究；第 4 页 2011-2-21四、信息论进展历史1924年 奈奎斯特(Nyquist,H.)总结了信号带宽和信息速率之 间的关系。 1928年 哈特莱(Hartley,L.V.R)讨论了通信系统传输信息的能 力，给出了信息度量的方法。 1936年 阿姆斯特朗(Armstrong)提出增大带宽可以使抗干扰 力量加强。 1948年 香农，《通信的数学理论》(A mathematical theory of communication )标记了信息论的创立； 1949年 香农，《保密通信的信息理论》，用信息论的观点对 信息保密问题做了全面的阐述，奠定了密码学的根底。 1959年 香农，《无失真信源编码》，它是数据压缩的数学基 础，为信源编码的讨论奠定了根底。 1972年 盖弗的播送信道讨论论文，讨论热点转向多用户。第 5 页 2011-2-21A1、信息论的应用〔通信领域〕无失真信源编码的应用：文件和图像的压缩1989年的电视电话/会议压缩标准H.261； 1991年的“多灰度静止图像压缩编码标准〞JPEG； 随后的MPEG-1、MPEG-2以及目前的MPEG-4。限失真信源编码的应用：语音信号压缩，依据香农定理语音 信号所需的编码速率可以远低于奈奎斯特采样定理所打算的 速率：1972年长途电话网标准的编码速率为64kbit/s，到1995年那么为6.3kbit/s； 1989年GSM标准的编码速率为13.2kbit/s，1994年降至5.6kbit/s； 在试验室目前已经实现600bit/s的低速率语音编码，特殊是按音素识别与 合成原理构造的声码器其速率可低于100bit/s，这已经接近香农极限。第 6 页2011-2-21有噪信道编码的应用：模拟话路中数据传输速率的进步 早期的调制解调器300bit/s； 随后速率逐步进步4800bit/s，9600bit/s，14.4kbits/s， 19.2kbits/s，28.8kbits/s，56kbits/s； 目前2Mkbits/s第 7 页2011-2-21信源的数学模型信源是产生消息的源，依据信源的不怜悯况可分为： 离散信源 消息集X 为离散集 合。 连续信源 时间离散 而空间连 续的信源。波形信源 时间连续 的信源。依据信源的统计特性，离散信源又分为两种： 无记忆信源 X的各时刻取值互相独立。 有记忆信源 X的各时刻取值相互有关联。第 8 页 2011-2-21一、离散无记忆信源离散无记忆信源(Discrete Memoryless Source，简记为 DMS)是时间离散、幅度离散的随机过程。不同时刻的随机变 量是独立同分布的，且符号集中的符号数目是有限的或可数 的。离散无记忆信源的数学模型为离散型的概率空间，即