点估计的方法20161022解读.pptx

第三节 点估计的方法与应用 一、矩估计法 二、极大似然估计法 三、最小二乘估计法 P109 1、基本思想 一、矩法估计 3、 定义 设样本X1,X2...Xn,来自总体X，以μr记作总体的r阶原点矩，mr记作r阶样本原点矩，即 μr=EXr；mr=1/n*∑Xr 如果参数θ可以表示为总体的前k阶矩的函数，即 θ=g（μ1,...,μk） 则我们可以用 来估计θ，并 称为θ的矩估计。 样本矩去替换总体矩 2、理论依据 样本矩依概率收敛于总体矩。 4、矩估计的优点 （1）不依赖总体的分布，简便易行 （2）只要n充分大，精确度也很高 5、矩估计的缺点 （1）矩估计的精度较差； （2）要求总体的某个k阶矩存在； （3）要求未知参数能写为总体的原点矩的函数形式 6、矩估计的选择原则 （1）涉及到的矩的阶数要尽可能小 （2）所用估计最好是充分统计量的函数 注意： 1. 总体存在适当阶的矩。 反例，考虑Cauchy分布，其密度函数为 其各阶矩均不存在。 2. 对相同的参数 ，存在多个矩估计。 例如，考虑总体是参数为 的Poisson分布， 5、矩法估计的基本步骤 6 7 定理2.9 设X1,X2...Xn是独立同分布的变量序列，E|X|k∞,θ=g（μ1,...,μk）,并设g是连续的，则θ的矩估计 是θ的相合估计。 定理2.10 设X1,X2...Xn是独立同分布的变量序列，E|X|2k∞,θ=（θ1，θ2，...，θs），θi=gi（μ1,...,μk）,并设gi对μj有连续偏导数G= ，则 *（ -θ）→N(0，G∑G) 例2.22 设X1,X2...Xn是独立同分布的变量序列，E|X|4∞, θ=(μ，σ2)，其中 求矩估计的渐进分布。 P112 6、频率替换估计 考虑n次独立重复试验每次试验有k中可能的结果 根据频率替换原理， 最自然的方法就是用样本频率 在实际问题中，常见的情形是：每次试验 函数， 上有定义和连续，则由频率替换原理可得 需要注意的是在上述估计过程中可能得到的估计是不唯一的，举例说明如下。 例2.24(p114) 如果试验有三种可能的结果，分别记为1,2,3，其发生的频率分别为 即著名的Hardy-Weinberg模型。 由替换原理可得 的三个不同的估计 1、小概率事件原理：在一次试验中，某一事件已经发生，则必认为发生该事件的概率最大。 二、极大似然估计法 2、基本思想 设总体X的分布函数已知，但参数θ未知，它可以取很多值，我们要在参数θ的一切可能取值中选出一个使样本观察 值出现的概率为最大的 作为参数θ的估计，并称 为θ的极大似然估计。 5、理论依据 只要n足够大，极大似然估计和未知参数的真值可以任意接近。 4、极大似然估计 如果L在 达到最大值，则称 是? 的极大似然估计（ Maximum Likelihood Estimate -MLE）。这种求估计量的方法称为极大似然法。 3、似然函数 6、极大似然估计的优点 (1)吸收了提供的样本参数的信息 (2)利用了分布函数形式已知的有利条件 (3)得到的估计量的精度一般较高 7、极大似然估计的缺点 要求必须知道总体的分布函数形式 P116 （1）不变原则 定理 设 为 的极大似然估计， 是 的连续函数，则 的极大似然估计为 。 例2.27（p118） 设(X1，Y1),......,(Xn,Yn)是来自二元正态总体的一个样本， E(X1)=E(Y1)=0,Var(X1)=Var(Y1)= ,Cov(X1,Y1)= , 求 ， 的MLE 9、极大似然估计的性质 (2)相合性：若lnp(x;θ)在Θ上可微，并设p(x;θ)是可识别的，则似然方程在n趋于无穷时，以概率1有解，且此解关于θ是相合的。 (3)渐进正态性：假设Θ为开区间，概率密度函数p(x;θ)，满足： ①在参数真值 的邻域内， ，对所有的x都存在； ②在参数真值 的邻域内， ； ③在参数真值 处， 记 是n趋于无穷时似然方程的相合解，则 (4)渐进有效性：设Tn是 的相合估计， 可微，Fisher信息存在，且