5-贝叶斯算法-converted (1)讲解.pptx

贝叶斯

贝叶斯简介：

贝叶斯(约1701-1761)ThomasBayes，英国数学家

贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章生不逢时，死后它的作品才被世人认可。

贝叶斯

贝叶斯要解决的问题：

正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大

逆向概率：如果我们事先并不知道袋子里面黑白球的比例，而是闭着眼睛摸出一个（或好几个）球，观察这些取出来的球的颜色之后，那么我们可以就此对袋子里面的黑白球的比例作出什么样的推测

贝叶斯

Why贝叶斯？

现实世界本身就是不确定的，人类的观察能力是有局限性的

我们日常所观察到的只是事物表面上的结果，因此我们需要提供一个猜测

贝叶斯

男生：60%女生：40%

男生总是穿长裤，女生则一半穿长裤一半穿裙子

正向概率：随机选取一个学生，他（她）穿长裤的概率和穿裙子的概率是多大

逆向概率：迎面走来一个穿长裤的学生，你只看得见他（她）穿的是否长裤，而无法确定他（她）的性别，你能够推断出他（她）是女生的概率是多大吗？

贝叶斯

假设学校里面人的总数是U个

穿长裤的（男生）：U*P(Boy)*P(Pants|Boy)P(Boy)是男生的概率=60%

P(Pants|Boy)是条件概率，即在Boy这个条件下穿长裤的概率是多大，这里是100%，因为所有男生都穿长裤

穿长裤的（女生）：U*P(Girl)*P(Pants|Girl)

P(Pants|Girl)同样是条件概率，表示女生穿裤子的概率，这里

是50%，因为女生一半穿裤子还有一半穿裙子。

→U*60%*100%

→U*40%*50%

但是总人数有时我们是未知的，观测样本的局限。问题先放着。

贝叶斯

求解：穿长裤的人里面有多少女生

穿长裤总数：U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl)P(Girl|Pants)=U*P(Girl)*P(Pants|Girl)/穿长裤总数

U*P(Girl)*P(Pants|Girl)/[U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl)]

女生穿长裤的人数

贝叶斯

与总人数有关吗？（和U有关吗？）

U*P(Girl)*P(Pants|Girl)/[U*P(Boy)*P(Pants|Boy)+U*P(Girl)*P(Pants|Girl)

容易发现这里校园内人的总数是无关的，可以消去

P(Girl|Pants)=P(Girl)*P(Pants|Girl)/[P(Boy)*P(Pants|Boy)+P(Girl)*P(Pants|Girl)]

贝叶斯

化简：

P(Girl|Pants)=P(Girl)*P(Pants|Girl)/[P(Boy)*P(Pants|Boy)+P(Girl)*P(Pants|Girl)]

分母其实就是P(Pants)

分子其实就是P(Pants,Girl)

穿长裤的概率

女生穿长裤的概率

贝叶斯

贝叶斯公式

贝叶斯

拼写纠正实例：

问题是我们看到用户输入了一个不在字典中的单词，我们需要去猜测：“这个家伙到底真正想输入的单词是什么呢？

P(我们猜测他想输入的单词|他实际输入的单词)

贝叶斯

用户实际输入的单词记为D（D代表Data，即观测数据）

猜测1：P(h1|D)，猜测2：P(h2|D)，猜测3：P(h3|D)。。。统一为：P(h|D)

P(the|tha)P(than|tha)P(that|tha)

贝叶斯公式表示：

P(h|D)=P(D|h)*P(h)/P(D)

P(D|h)就表示用户输入tha，但是想输入the/that/than的概率，P(D)用户输入tha的概率。

贝叶斯

用户实际输入的单词记为D（D代表Data，即观测数据）

对于不同的具体猜测h1h2h3..，P(D)都是一样的，所以在比较P(h1|D)和P(h2|D)的时候我们可以忽略这个常数

P(h|D)∝P(h)*P(D|h)

对于给定观测数据，一个猜测是好是坏，取决于“这个猜测本身独立的可能性大小（先验概率，Prior）”和“这个猜测生成我们观测到的数据的可能性大小。

贝叶斯

用户实际输入的单词记为D（D代表Data，即观测数据）