信息理论与编码.pptx

1232343456.4信息率失真函数的计算6.4.1离散信源信息率失真函数的参量表示计算方法6.4.2离散信源信息率失真函数的迭代计算方法信息理论与编码**6.4.1离散信源信息率失真函数的参量表示计算方法计算条件计算的约束条件计算方法计算方法计算信息率失真函数参量S的物理意义信息率失真函数与D的关系曲线信息理论与编码**计算条件（1）已知信源的概率分布（2）失真函数为，。选取合适的试验信道，计算平均互信息的极小值。平均互信息表达式其中，可表示为。信息理论与编码**计算的约束条件信息理论与编码**计算方法应用拉格朗日乘子法，引入乘子S和，可将求条件极值问题化为无条件极值问题。即求解(1)分别计算以上三部分的偏导数：信息理论与编码**信息理论与编码**将三个偏导的结果代入式（1）得(2)信息理论与编码**解式(2)得为计算方便，令，因此(3)信息理论与编码**计算方法利用关系和对式(3)求和：解得（4）信息理论与编码**对式(3)两边乘以求和：方程两边约去（假设），得(5)将式(4)代入(5)(6)信息理论与编码**(6)式是关于的有s个方程的方程组，解之可得到以S为参量的s个的值。将解得的代入(4)，得到r个的值。再将s个和r个代入(3)，得到s×r个以S为参量的。信息理论与编码**计算信息率失真函数平均失真度，将(3)代入，得（7）这里，和均以S为参量，因此，D也以S为参量。将(3)式代入上式得到以S为参量的信息率失真函数的表达式。信息理论与编码**（8）信息理论与编码**参量S的物理意义根据式（8）的结论，是、S和的隐函数。利用全微分公式计算导数如下（9）信息理论与编码**将式(5)对S求导将式(10)乘，并对j求和(10)信息理论与编码**对照(4)和(7)，上式第一项的后一求和即，后一项是，所以(11)