机器学习的5种采样方法介绍.docx

??

?

??

机器学习的5种采样方法介绍

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

?

?

以下是关于RahulAgarwal分享的内容，编译整理如下。

数据科学实际上是就是研究算法。

我每天都在努力学习许多算法，所以我想列出一些最常见和最常用的算法。

本文介绍了在处理数据时可以使用的一些最常见的采样技术。

简单随机抽样

假设您要选择一个群体的子集，其中该子集的每个成员被选择的概率都相等。

下面我们从一个数据集中选择100个采样点。

sample_df=df.sample（100）

分层采样

假设我们需要估计选举中每个候选人的平均票数。现假设该国有3个城镇：

A镇有100万工人，

B镇有200万工人，以及

C镇有300万退休人员。

我们可以选择在整个人口中随机抽取一个60大小的样本，但在这些城镇中，随机样本可能不太平衡，因此会产生偏差，导致估计误差很大。

相反，如果我们选择从A、B和C镇分别抽取10、20和30个随机样本，那么我们可以在总样本大小相同的情况下，产生较小的估计误差。

使用python可以很容易地做到这一点：

fromsklearn.model_selectionimporttrain_test_splitX_train，X_test，y_train，y_test=train_test_split（X，y，stratify=y，test_size=0.25）

水塘采样

我喜欢这个问题陈述：

假设您有一个项目流，它长度较大且未知以至于我们只能迭代一次。

创建一个算法，从这个流中随机选择一个项目，这样每个项目都有相同的可能被选中。

我们怎么能做到这一点？

假设我们必须从无限大的流中抽取5个对象，且每个元素被选中的概率都相等。

importrandomdefgenerator（max）：

number=1

whilenumber《max：

number+=1

yieldnumber#Createasstreamgenerator

stream=generator（10000）#DoingReservoirSamplingfromthestream

k=5

reservoir=［］

fori，elementinenumerate（stream）：

ifi+1《=k：

reservoir.append（element）

else：

probability=k/（i+1）

ifrandom.random（）《probability：

#Selectiteminstreamandremoveoneofthekitemsalreadyselected

reservoir［random.choice（range（0，k））］=elementprint（reservoir）

------------------------------------

［1369，4108，9986，828，5589］

从数学上可以证明，在样本中，流中每个元素被选中的概率相同。这是为什么呢？

当涉及到数学问题时，从一个小问题开始思考总是有帮助的。

所以，让我们考虑一个只有3个项目的流，我们必须保留其中2个。

当我们看到第一个项目，我们把它放在清单上，因为我们的水塘有空间。在我们看到第二个项目时，我们把它放在列表中，因为我们的水塘还是有空间。

现在我们看到第三个项目。这里是事情开始变得有趣的地方。我们有2/3的概率将第三个项目放在清单中，

现在让我们看看第一个项目被选中的概率：

移除第一个项目的概率是项目3被选中的概率乘以项目1被随机选为水塘中2个要素的替代候选的概率。这个概率是：

2/3*1/2=1/3

因此，选择项目1的概率为：

1–1/3=2/3

我们可以对第二个项目使用完全相同的参数，并且可以将其扩展到多个项目。

因此，每个项目被选中的概率相同：2/3或者用一般的公式表示为K/N

随机欠采样和过采样

我们经常会遇到不平衡的数据集。

一种广泛采用的处理高度不平衡数据集的技术称为重采样。它包括从多数类（欠采样）中删除样本或向少数类（过采样）中添加更多示例。

让我们先创建一些不平衡数据示例，

fromsklearn.datasetsimportmake_classificaTIonX，y=make_classificaTIon（n_classes=2，class_sep=1.5，weights=［0.9，0.1］，n_informaTIve=3，n_redundant=1，