6-3最小方差无偏估计.ppt

二、最小方差无偏估计 注： 3. 有效估计 所以 4. 最大似然估计的渐近正态性 * * Tianjin Normal University 数理统计 第六章 第三节 最小方差无偏估计 一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式 优良的无偏估计都是充分统计量的函数. 将之应用在参数估计中可得: 其中等号成立的充要条件为X与 (Y)几乎处处相等. 定理1: 设X和Y是两个r.v.,EX=μ,VarX0,令 则有 是样本, 是θ的充分统计量, 定理2: 设总体的概率函数为p(x;θ), 对θ的任一无偏估计 一、Rao-Blackwell 定理 注:定理2表明: 若无偏估计不是充分统计量的函数,则将之对充分统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函数且方差会减小. 即, 考虑点估计只需在充分统计量的函数中进行, 这就是 — 充分性原则. 令θ=p2 , 则 为θ的无偏估计. 因为 是充分统计量 ,由定理2, 从而可令 可得 故 为θ的无偏估计.且 例1.设 为来自b(1,p) 的样本, 求p2的U.E 为p 的充分统计量 解：前已求过: 进一步改进： 定义: 一致最小方差无偏估计是一种最优估计.由定理2, 只要它存在.它一定是充分统计量的函数.一般地,若依赖于充分统计量的无偏估计只有一个,它一定是UMVUE. Problem： 无偏估计的方差是否可以任意小? 如果不能任意小,那么它的下界是什么? 是总体X的样本, 定理3: (UMVUE准则) 设 如果对任一个满足 是θ的任一无偏估计, 例2: 设 为来自Exp(1/θ) 的样本,则 为θ 的充分统计量,证明: 为θ的UMVUE. 反之亦成立. 1、 Fisher信息量的定义. 三、罗-克拉美（Cramer–Rao ）不等式 (1)?是实数轴上的一个开区间; 设总体X 的概率函数为p(x;? ),???,且满足条件: 正则条件 (1)I(θ)越大,总体分布中包含未知参数的信息越多。 例3:设总体为Poisson分布，即 注： 例4: 设总体为指数分布Exp(1/θ)，即 (2) I(?)的另一表达式为 注： 常见分布的信息量 I(?)公式 两点分布X ~ b(1,p) 泊松分布 指数分布 正态分布 设总体X 的概率函数为p(x ;? ),???, 满足上面定义中的条件；x1,….,xn 是来自总体X的一个样本, T(x1,….,xn )是g(? )的一个无偏估计. 2、定理4 (Cramer-Rao不等式): 的微分可在积分号下进行，即 则有 特别地对θ的无偏估计有 上述不等式的右端称为C-R下界, I(?) 为Fisher信息量. 注: (1) 定理对离散型总体也适用.只需改积分号为求和号。 (2) 在定理4条件下, 若g(? ) 的无偏估计量T 的方差VarT 达到下界, 则T必为g(? ) 的最小方差无偏估计. 但是它不一定存在, 也就是说, C-R不等式有时给出的下界过小. (3) 当等号成立时, T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。 有效估计一定是UMVUE.（反之不真） 定义: 定义: 注: 综上, 求证T是g(?)的有效估计的步骤为: 例5. 设总体 X~Exp(1/θ),密度函数为 为 X 的一个样本值. 求? 的最大似然估计量, 并判断它是否为达到方差下界的无偏估计,即有效估计. 为参数 解: 由似然函数 经检验知? 的最大似然估计为 所以它是? 的无偏估计量,且 而 故 是达到方差下界的无偏估计. C-R下界为 例8. 设x1 ,….xn 为取自总体为正态分布N(μ,σ2)的样本, 验证 因此, 是μ的有效估计. 解：已证过 为U.E, 下求μ的C-R下界,由于 而μ的C-R下界为 是μ的有效估计 因此 因此: 解: 由于 所以σ2的C-R下界为: 例9.(接前例)设x1 ,….xn 取自正态分布总体N(μ,σ2) , 若μ未知，讨论σ2的无偏估计 是否为有效估计. * *