ann10 神经网路 第10章 概率神经网络.pdf

神经网络 Neural Networks 第十章 概率神经网络 史忠植 中国科学院计算技术研究所 / 内容提要 • 10.1 概述 • 10.2 贝叶斯定理 • 10.3 概率密度函数 • 10.4 模式分类的贝叶斯判定策略 • 10.5 密度估计的一致性 • 10.6 概率神经网络 • 10.7 激活函数 • 10.8 贝叶斯阴阳系统理论 2014/4/14 史忠植 神经网路 2 样本空间和事件 考虑一个事先不知道输出的试验： • 试验的样本空间：所有可能输出 W的集合 如果抛掷两次硬币，则样本空间为 = H H ,H T , TH , T T • 事件A是样本空间的子集 上述试验中第一次正面向上的事件为A= HH, HT 2014/4/14 史忠植 神经网路 3 概率 • 对每个事件A ，我们定义一个数字P(A) ，称为A 的概率。概率根据下述三条公理： 1、事件A 的概率是一个非负实数：(A) ≥ 0 2、合法命题的概率为1：() = 1 3、对两两不相交（互斥）事件A1, A2, … ， 从上述三个公理，可推导出概率的所有的其他性质 。频率学派和贝叶斯学派都满足该公理 2014/4/14 史忠植 神经网路 4 分布函数 • 令X为一随机变量， x 为X的一具体值（数据） • 则随机变量X的累积分布函数 (cumulative distribution function, CDF) 定义为 • 若X的取值为一些可数的数值{x1 ，x2, } 则称其 为离散型随机变量。 2014/4/14 史忠植 神经网路 5 统计概率 统计概率:若在大量重复试验中，事件A发生的频率稳 定地接近于一个固定的常数p，它表明事件A出现的可 能性大小，则称此常数p为事件A发生的概率，记为 P(A), 即 p＝P(A) 可见概率就是频率的稳定中心。任何事件A的概率为 不大于1的非负实数，即 0＜P(A)＜1 2014/4/14 史忠植 神经网路 6 概率分布 • 对连续型随机变量X，如果存在一个函数P ，使得对 所有的x，p 0 ，且对任意a b 有 • 则函数 被称为概率密度函数 (probability density function, pdf)。 • 当F可微时 2014/4/14 史忠植 神经网路 7 Bernoulli 分布 • 一些离散分布的例子： 1：X为一次抛硬币的输出， • 我们称X服从参数为θ的Bernoulli分布，记为 2014/4/14