信源编码的基本理论研究与应用.doc

信源编码的基本理论研究与应用 【摘要】 【关键字】 前言 信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948 年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。 信息通过信道传输到信宿的过程即为通信，通信中的基本问题是如何快速、准确地传送信息。要做到既不失真又快速地通信，需要解决两个问题：一是不失真或允许一定的失真条件下，如何提高信息传输速度（如何用尽可能少的符号来传送信源信息）；二是在信道受到干扰的情况下，如何增加信号的抗干扰能力，同时又使得信息传输率最大（如何尽可能地提高信息传输的可靠性）。 实际的信源虽然多种多样，但可归纳为图像、语音、文字、数据等。其中图像、语音常表现为时间连续的随机波形，可通过采样变换成随机的时间序列。无论那种类型的信源，信源符号之间总存在相关性和分布的不均匀性，使得信源输出符号序列的统计特性，寻找合适的方法把信源输出符号序列变换为最短的码字序列。 信源编码的基本途径有两个，一是编码后使序列中的各个符号之间尽可能地互相独立，即解除相关性；二是使编码后各个富豪出现的概率尽可能相等，即均匀化分布。 目前去除信源符号之间冗余度的有效方法包括预测编码和变化编码，去除信源符号概率分布冗余度的主要方法是统计码。上述方法已经相当成熟，在实际中得到了广泛应用，并被有关压缩编码的国际标准所采用。 1.1 信源编码的基本原理 1.1.1 信源研究内容 信息论对信源研究的内容包括3个方面： (1)信源的建模 信源输出信号的数学描述已有成熟的理论——随机过程，一般的随机过程理论并不涉及和讨论信号中所携带的信息，而信息论所关心的中心内容则是信号中携带的信息。 (2)信源输出信号中携带信息的效率的计算 在信息论中，信源输出信号所携带信息的效率是用熵率或冗余度来表示的。 (3)信源输出信息的有效表示 一般地，信源输出信号中携带信息的效率并不很高，如何用适当的信号有效地表示信源输出的信息是人们感兴趣的问题，这就是信源编码的问题。 1.1.2 信源编码器 为了简化问题，研究无失真编码时，只考虑信源和信宿两个主要因素，这样信息传输系统模型变为图1-1所示。 信源译码器信道信宿信源编码器信源 信源译码器 信 道 信 宿 信源编码器 信 源 图1-1 1.1.3 相关概念 设信源U发出n种不同的符号，其符号集为U={u1,u2,…,un}, 其中 ui称为信源符号，若信源符号集中符号数等于2称为二元信源，等于3称为三元信源，…，等于n称为n元信源。 又若信道的输人符号集为X={a1,a2,…,ar}。信源编码问题,就是用信道的输人符号集X={a1,a2,…,ar}作为码符号集，其中ai（i＝1，2，…，r）称为码符号或码元，用码符号集中的码符号,对信源U的每一种不同的符号进行一一对应变换，构成由码符号组成的序列，即码字。 所有码字的集合称为码组w={w1，w2，…，wn}；码字中所用的码符号的个数称为码长。 1.1.4 若码符号集中符号数等于2称为二元码，等于3称为三元码，…，等于r称为r元码。若一组码中所有码字的码长都相同，称为等长码,否则称为变长码。若码组中所有码字都不相同则称为非奇异码，否则称为奇异码。 符号 码1 码2 码3 码4 a 00 0 0 1 b 01 10 11 01 c 10 00 00 001 d 11 01 11 0001 表1-1信源X对应的不同码字 表1-1中码1的编码为等长码，其它的几种编码皆为变长码。码3有两个符号的编码相同，码3是奇异码，而码1、码2和码4都为非奇异码。 若每个码符号的传输时间都相同则称为同价码，否则称为非同价码。 信源编码编出的每一种码字要与信源发出的每一种不同的符号一一对应，而且同时还要求信源的N个符号组成的序列所代表的消息，与之相对应的码字组成的码字序列也必须一一对应。只有这样，才能保证任何一个码字或码字序列唯一地翻译成相对应的信源符号或符号序列，达到无失真传递信源发出的消息的目。无失真信源编码必须具有这种单义可译性,单义可译的码称为单义可译码，也称为惟一可译码。 例如码字{0，10，11}是一种惟一可译码。因为任意一串有限长码序列，例如100 111 000，只能被分割成10，0，11，10，0，0。任何其他分割法都会产生一些非定义的码字。非奇异码中有非惟一可译码和惟一可译码。 惟一可译码中又分为非即时码和即时码；如果接收端收到一个完整的码字后，不能立即译码，还需等下一个码字开始接收后才能判断是否可以译码，这样的码叫