《智能控制理论和方法》课件第2章.ppt

虽然上述定义的熵和转移在度量动态系统变量取值范围或可变性和相关性方面非常有用，但把它们用于系统过去历史在多大程度上约束当前值的这样动态系统时仍有缺陷。其缺陷的根本原因在于这种历史性约束没有反映在计算的概率和联合概率中。这样，历史信息在减少不确定性方面的利用就被浪费了。

信息论在处理动态系统方面的缺陷可以用定义几个新变量来克服。新变量表明了当前变量的以前形式。但定义熵率更容易些。即X对它所有以往值取条件熵。熵率是在一序列中每次观测带的信息。因此，一个长序列{X(t),X(t+1),…,X(t+m－1)}中的总的不确定性，(近似地)等于该熵率乘上序列长度。由此，熵率H(X)定义为－

其单位为每步位数(bit/step)。条件熵率为它是每步X2的不确定性，即完全知道X1（过去、现在和将来的情况下）的条件熵率。转移率T(X1∶X2)定义为－这是动态变量之间所保持的每步约束,也是动态变量相关的真实度的极好度量，又是通信工程师力图使其极大化的量(X1相当于所发送的消息流，X2相当于所接收的消息流)。熵率和转移率是了解动态系统很好的工具。熵率是度量一个变量或子系统不确定性或不可预测的行为；而转移率则是度量变量间或子系统间的相关性。为了生存，任何重要的机体(譬如生物组织、公司、大学、政府等)必须从它的环境中接收信息，并执行与环境相适应的合理行为。所以，度量这种关系的T(环境∶行为)是机体重要的生存参数，并且是一个适应能力的限制。因为任何系统的T(输入∶输出)由系统的通道容量C决定了它的上限，所以可以推断，进化就表现为生存机体保证有足够的通道容量来执行动作，或者力图以不足的容量来执行动作以适应外界环境。－－2.4.2信息率划分定律

为了引出信息率划分定律，需要几个恒等表达式：利用上面恒等式(2.24)，消去H(S),得利用比率和下标统一的法则，可得式(2.26)就是信息率划分定律的一般形式，因为它把上式左边的和分成右边几个非负的量。为了表示方便，可以把式(2.26)中各项给以名称和符号：这种信息率划分定律可以写成F=Ft+Fb+Fc+Fn(2.27)下面对各项的物理意义作一定的解释。总流率Ｆ是各变量流率之和，如果忽略变量间的关系，它就代表S中总的(非确定性)行为(或活动)。因为每一Xj假定为(可能是噪声)E和S中其他变量的函数，并且可以看做是计算该函数的实体，所以可以把F(不太严格地)看成是发生在S中的“计算”总量。由式(2.26)或式(2.27)，F限定了各个Ft、Fb、Fc和Fn以及它们的和。因此，它也代表了所有信息率的总体上限。

吞吐率Ft度量了S输入—输出的流率。或者说,S作为通道，Ft度量了通过S每步的位数，或S的输入和输出间关联的强度。这个比率对于S(作为机体)的生存是十分重要的。作为一个目标，生存就要支配某个最小的Ft。按照定义，S的通道容量Cs是Ft的最小上限。区分输出率(So)与吞吐率Ft间的差别是重要的，因为如果S是信息发生器，则H(So)可能会超过Ft。而吞吐量仅仅是与输入E有关的输出部分。－阻塞率Fb是S内有关输入E信息被阻塞的比率，且不允许影响输出。为了明白起见，可将Fb展开,由式(2.23):注意到So,Sint=S，把上式加减(E),得T(E∶S)度量E和整个系统S之间的关系，或者说是E对S的影响，也可以说是S携带有关E的信息。T(E∶So)是同样的，但只是对S的输出子系统。因此，Fb是S所带的而So没有的关于E的信息，即由Sint所带的关于E的信息，但并不反映在输出中。其基本思想是：一般来说,E以不影响So的方式作用于Sint，而Fb是系统S内信息阻塞的一种度量。通常一个系统，在接收环境信息的过程中，往往有滤波器滤去不需要的信息(如噪声)，只允许所需的信息作用到输出，Fb就反映了这个信息阻塞的过程。－－协调率Fc是S中所有变量之间总协调的一种度量。正如(X1∶X2)度量两个变量之间的约束、关系和协调量一样，Fc是度量所有变量之间的约束、关系和协调量。一般来说，把全局约束分解成每个约束之和是不太可能的。然而，通过分解或划分规则，有可能把Fc表示成由几个松耦合子系统组成的分解式。

总体(全局)约束率可以被看成是S内部的通信率，允许S按整体而不是以各独立部分之和来工作。当S面对非常复杂的问题时，就要求有系统内部信令。而且，为了成功地与问题相适配,所需的最小Fc可以解释为问题复杂性的适应，即为了成功地求解问题S,各部分之间所需的全局合作。噪声率Fn是S输入完全知道后，有关S每步不确定性的总量。显然，它与内部产生的信息相对应，或者有些人把它当作“自由意志”率。因为它