信息论与编码作业答案(新)超全.pdf

信息论与编码 作业答案 （对应曹雪虹清华版教材） (谢正光，2013-06-28 ，于江苏南通) 第一章 绪论 1-1、 信息、消息、信号的定义是什么？三者的关系是什么？ 答：信息：是指各个事物运动的状态和状态变化的方式。 消息：包含有信息的语言文字和图像等。 信号：信号时消息的物理体现。 三者关系：信息符号化为消息，消息物理化为信号。 # 1-2、 简述一个通信系统包括的各主要功能模块及其作用。 答：主要模块和其作用如下： 信源：向通信系统提供消息。 信宿：接收消息。 信道：传递消息或说物理信号。 干扰源：集中反映通信系统的干扰。 密钥源：产生密钥。 信源编码器：进行信源编码，把信源发出的消息转换成由二进制码元（或多进制码元）的代码组。 信道编码器：增加监督码元，增加检错或纠错的能力。 加密编码：提高通信系统的安全性。 # 第二章 信源与信息熵 2.1 一个马尔可夫信源有 3 个符号 u1, u2,u3 ，转移概率为：p u 1 |u 1 = 1/2 ，p u 2 |u1 = 1/2 ，p u 3 |u1 = 0 ， { } ( ) ( ) ( ) p u 1 |u 2 = 1/ 3 ，p u 2 |u 2 = 0 ，p u 3 |u2 = 2/ 3 ，p u 1 |u 3 = 1/ 3 ，p u 2 |u 3 = 2/ 3 ，p u 3 |u 3 = 0 ， ( ) ( ) ( ) ( ) ( ) ( ) 画出状态图并求出各符号稳态概率。 解：（1）状态转移矩阵为： æ1/2 1/2 0 ö ç ÷ ç ÷ ç ÷ ç ÷ p = ç1/ 3 0 2/ 3 ÷ ÷ ç ÷ ç ÷ ç ÷ ç1/ 3 2/ 3 0 ÷ ç ÷ è ø （2 ）状态图如下 1/2 1/2 u1 u2 1/3 1/3 2/3 2/3 u3 （3 ）从状态图可知，满足不可约性与非周期性，所以存在稳态概率。设状态 u ，u ，u 稳定后的概率分别为 W ，W 、 1 2 3 1 2 W3 ì1 1 1 ï ï 1 2 3 1 W + W + W = W ì 10 ï