第3章先验分布的确定.pptVIP

第三章先验分布的确定第三章先验分布的确定说明1.贝叶斯假设有其合理的方面。（1）Θ={?1,…,?n}为有限集，且对?i发生无任何信息，那么自然认为其上的均匀分布作为?的先验分布是合理的。（2）若Θ=（a,b）为有限区间，那可用U（a,b）作为?的先验分布.2.使用贝叶斯假设也会遇到一些麻烦，主要有以下2个：（1）当Θ为无限区间时，在Θ上无法定义一个正常的均匀分布.（2）贝叶斯假设不满足变换下的不变性。例3.15设总体X～N(θ,1),其中θ=（-∞，+∞）=Θ。2.由此决定的后验分布π(θ|x)是个正常的密度函数，定义3.1设X～f（x|θ）,θ∈Θ.若θ的先验分布π(θ)满足下列条件:则称π(θ)为θ的广义先验分布。（2）贝叶斯假设不满足变换下的不变性。例3.15正态分布的标准差σ，它的参数空间为(0,+∞)。若定义一个变换注意：不能随意设定一个常数为某参数的先验分布，即不能随意使用贝叶斯假设.Jeffreys首先考虑这类问题。若要考虑参数θ的无信息先验，他首先要知道该参数θ在总体分布中的地位，譬如θ是位置参数还是尺度参数。根据参数在分布的地位选用适当变换下的不变性来确定其无信息先验分布。这样确定先验分布的方法是没有任何先验信息，但要用到总体分布的信息。以后会看到用这种方法确定的无信息先验分布大都是广义先验分布。二、位置参数的无信息先验分布1.位置参数的定义设总体X的密度具有形式p(x-θ),其样本空间χ和参数空间皆为实数集R。这类密度组成位置参数族。?称为位置参数.2.位置参数的无信息先验分布位置参数?的无任何信息为π(θ)=1这表明，当θ为位置参数时，其先验分布可利用贝叶斯假设作为无信息先验分布位置参数的无信息先验分布位置参数?的无任何信息为π(θ)=1例3.17设(x1,…,xn)是来自正态分布N(θ,σ2)的一个样本，其中σ2已知。例3.18三、尺度参数的无信息先验分布1.尺度参数的定义设总体X的密度具有形式,其中σ称为尺度参数，参数空间为R+=(0,+∞)。这类密度的全体称为尺度参数族。例如N(0,σ2),Ga(α,1/β)(α已知)2.尺度参数的无信息先验分布尺度参数σ的无任何信息为π(σ)=1/σ，σ0例3.19设总体X服从指数分布，其密度函数为其中σ是尺度参数设(x1,…,xn)是来自该指数分布的一个样本.σ的先验分布取无信息先验分布.四、用Fisher信息阵确定无信息先验分布设(x1,…,xn)是来自密度函数p(x|θ)的一个样本.这里θ=（θ1,…,θp)是p维参数向量。在对?无先验信息可用时，Jeffreys用Fisher信息阵的行列式的平方根作为θ的无信息先验分布。这样的无信息先验分布通常称为Jeffreys先验。其步骤如下：（1）写出样本的对数似然函数（2）求样本的信息阵其步骤如下：（1）写出样本的对数似然函数（2）求样本的信息阵在单参数(p=1)场合,(3)Θ的无信息先验密度为在单参数(p=1)场合,例3.22关于成功概率的无信息先验分布至今已有4种π1(θ)=1——正常π2(θ)=θ-1(1-θ)-1——不正常π3(θ)=θ-1/2(1-θ)-1/2——正则化后可成为正常π4(θ)=θθ(1-θ)(1-θ)——正则化后可成为正常注意：1.一般说来，无信息先验不是唯一的.但它们对贝叶斯统计推断的影响都很小，很少对结果产生较大的影响2.任何无信息先验都可以采用。总结1.掌握贝叶斯假设2.掌握位置参数和尺度参数的无信息先验分布3.会用Fisher信息阵确定无信息先验作业3.6，3.8（1）（3）（5）§3.5多层先验一、多层先验1.定义当所给先验分布中超参数难于确定时，可以对超参数再给出一个先验，第二个先验称为超先验。由先验和超先验决定的一个新先验称为多层先验。例3.23设对某产品的不合格品率了解甚少，只知道它比较小。现需要确定θ的先验分布。决策人经过反复思考，最后把他引导到多层先验上去，他的思路是这样的：(1)开始他用(0,1)上的均匀分布U(0,1)作为θ的先验分布。(2)后来觉得不妥，因为此产品的不合格品率θ比较小，不会超过0.5，于是他改用(0,0.5)上的均匀分布作为θ的先验分布。(3)在一次业务会上，不少人对上限0.5提出各种意见，有人问：“为什么不把上限定为0.4？”他讲不清楚，有人建议：“上限很可能是0.1”，他也无把握，但这些问题促使他思考，最后他把思路理顺了，提出如下看法：θ的先验分布为U(0,λ),其中λ为超参数，