信息论与编码第一章课件.ppt

本课程以概率论为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的“用处”，结合其他课程 理解它的意义，而不要把它当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。 三个重要环节 课前预习 课上认真听讲 课后认真复习消化、作业 经常进行阶段复习 掌握知识的窍诀：反复思维实践 信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后继课程、将来进一步从事通信和信息领域的科研和创新。要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。 主要内容： 信息概念及信息论的起源、发展、内容（信息论的基本问题—信息的度量） 离散信源及其信息测度 离散信道及其信道容量 无失真信源编码 信道编码 （无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 限失真信源编码定理—香农第三定理） 教学目标： 熟练掌握信息论的基本理论、概念和方法； 信息的统计度量，离散信源，离散信道和信道容量 掌握编码的理论和实现原理 信源编码与信道编码 教学重点 信息度量 信源描述 信道容量 1.1 信息论发展简史 我国古代“烽火告警”是一种最早的快速、远距离传递信息的方式； 造纸术和印刷术的发明，使信息的表示和存储方式产生了一次重大的变化； 电报、电话、电视的发明，再次引导了信息加工和传输的革命； 20世纪后半叶，计算机技术、微电子技术、传感技术、激光技术、卫星通信技术、移动通信技术、航空航天技术、广播电视技术、多媒体技术、网络技术、新能源和新材料等新技术的应用，将人类社会推入到高度信息化的时代。 一位美国科学家在诗中这样描述： 没有物质的世界是虚无的世界，没有能源的世界是死寂的世界，没有信息的世界是混乱的世界。 可见信息的重要性。 * 信息：一个既复杂又抽象的概念 广义：消息、情报、知识 技术术语：计算机处理(通信传输)的对象—— 数据、文字、记录 科学名词：统计数学、通信技术 用严格的数学公式定义的科学名词，它与内容无关，而且不随信息具体表现形式的变化而变化，因而也独立于形式。 它反映了信息表达形式中统计方面的性质，是一个统计学上的抽象概念。 信息是指各个事物运动的状态及状态变化的方式。 人们从来自对周围世界的观察得到的数据中获得信息。 信息是抽象的意识或知识，它是看不见、摸不到的。 人脑的思维活动产生的一种想法，当它仍储存在脑子中的时候它就是一种信息。 由定义可知，信息是抽象的意识或知识，是看不见、摸不着的。它必须依附于一定的物质形式。 消息是信息的载体。指包含信息的语言、文字、图像等等。是描述信息的一种表现形式，同一种信息可以用不同的消息来载荷。 信号是消息的物理体现，在信息传输过程中，运载或携带消息的物理量。如电信号、光信号、无线电信号等等。 信息、消息、信号 信号最具体，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息的实体，是信息的物理层表达 消息是具体的、非物理的，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它也是信息的载荷体。是信息论中主要描述形式 信息的数学层表达 信息是抽象的、非物理的，是哲学层表达。 信息是具体信号与消息的内涵，是信号载荷的内容，是消息描述的对象。反过来，信号则是信息在物理表达上的外延，消息则是信息在数学表达上的外延。同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息 * 信息的基本概念在于它的不确定性,任何已确定的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道的，所以，信息是新知识、新内容； 信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 信息可以产生，也可以消失，同时信息可以被携带、贮存及处理； 信息是可以量度的，信息量有多少的差别 香农定义的信息概念在现有的各种理解中，是比较深刻的，它有许多优点。 它是一个科学的定义，有明确的数学模型和定量计算。 它与日常用语中的信息的含意是一致的。 定文排除了对信息一词某些主观上的含意 香农定义的信息也有其局限性，存在一些缺陷 定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述。 没有考虑收信者的主观特性和主观意义，也撇开了信息的具体含意、具体用途、重要程度和引起后果等因素。 香农（Shannon，C.E