数理统计——参数估计.ppt

第2章 参数估计 2.1 参数估计的几种方法 2.2 估计的评价标准 2.3 最小方差无偏估计 2.4 区间估计 一般常用? 表示参数，参数? 所有可能取值组成的集合称为参数空间，常用?表示。参数估计问题就是根据样本对上述各种未知参数作出估计。 参数估计的形式有两种：点估计与区间估计。 设 x1, x2,…, xn 是来自总体 X 的一个样本，我们用一个统计量 的取值作为? 的估计值， 称为? 的点估计（量），简称估计。在这里如何构造统计量 并没有明确的规定，只要它满足一定的合理性即可。这就涉及到两个问题： 点估计的几种方法 最大似然法和矩估计法 极(最)大似然估计 当我们用样本的函数值估计总体参数时，应使的当参数取这些值时，所观测到的样本出现的概率为最大 定义2.1.1 设总体的概率函数为p(x;? )，?是参数? 可能取值的参数空间，x1, x2 , …, xn 是样本，将样本的联合概率函数看成? 的函数，用L(? ; x1, x2, …, xn) 表示，简记为L(? )， 称为样本的似然函数。 如果某统计量 满足 则称 是? 的极(最)大似然估计，简记为MLE（Maximum Likelihood Estimate）。 例2.1.1 设一个试验有三种可能结果，其发生概率分别为 现做了n次试验，观测到三种结果发生的次数分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为 其对数似然函数为 将之关于? 求导，并令其为0得到似然方程 解之，得 由于 所以 是极大值点。 例2.1.2 对正态总体N(?,? 2)，θ=(?,? 2)是二维参数，设有样本 x1, x2 , …, xn，则似然函数及其对数分别为 将 lnL(?,? 2) 分别关于两个分量求偏导并令其为0, 即得到似然方程组 (2.1.9) (2.1.10) 解此方程组，由(2.1.9)可得? 的极大似然估计为 将之代入(2.1.10)，得出? 2的极大似然估计 利用二阶导函数矩阵的非正定性可以说明上述估计使得似然函数取极大值。 虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。 解 似然函数 要使L(? )达到最大，首先一点是示性函数取值应该为1，其次是1/? n尽可能大。由于1/? n是?的单调减函数，所以? 的取值应尽可能小，但示性函数为1决定了? 不能小于x(n)，由此给出?的极大似然估计： 。 极大似然估计有一个简单而有用的性质：如果 是? 的极大似然估计，则对任一函数 g(? )，其极大似然估计为 。该性质称为极大似然估计的不变性，从而使一些复杂结构的参数的极大似然估计的获得变得容易了。 例2.1.4 设 x1 , x2 , …, xn是来自正态总体N(? ,? 2) 的样本，则?和? 2的极大似然估计为 ，于是由不变性可得如下参数的极大似然估计，它们是: 概率 的MLE是 ； 矩估计法 点估计的几种方法 矩法估计 例2.1.1 对某型号的20辆汽车记录其每加仑汽油的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9 经计算有 由此给出总体均值、方差和中位数的估计分别为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体分布，其理论基础是格里纹科定理。 二、概率函数P(x,θ)已知时未知参数的矩法估计 设总体具有已知的概率函数 P(x, ?1, …,