人工智能安全-13-聚类模型的攻击.ppt

**人工智能安全

--聚类模型的攻击提纲聚类攻击场景聚类算法的攻击模型聚类算法的攻击方法天池AI上的例子在对抗环境下，聚类算法也可能受到攻击。例如，假设聚类算法把流量数据聚类成为如图的三簇，分别代表正常流量、拒绝服务攻击的流量和口令猜测的流量。如果攻击者拥有往数据集注入特定样本的能力，就可能改变聚类结果。聚类攻击可以发生不同层面，相对应于不同的攻击场景。这里以应用层和数据层为例，介绍两个针对聚类算法的攻击场景。蜜罐中，如果攻击者知道其行为将被收集并用于构造入侵特征，那么他可以通过适当构造某种特定行为痕迹数据，使得防御者聚类结构发生改变而达不到预期效果。IDS中，当安全管理不善或存在漏洞时，数据文件可能被非法访问，由此可以直接对数据集中的样本进行修改、添加或删除。提纲聚类攻击场景聚类算法的攻击模型聚类算法的攻击方法天池AI上的例子攻击者目标定向攻击，是指攻击者的目标在于改变某些样本的聚类结构，例如本来A、B两个样本归属于同一个簇，攻击后把它们分到了不同的簇。非定向攻击，并不针对某些特定的样本，只要能改变聚类结构即可，一般要求是使得所有样本的聚类结构发生最大的改变。从安全属性的角度看，攻击者的目标可以从完整性、可用性、隐私性三个角度来说明。完整性，当进行定向攻击时，在不影响其他样本归属簇的情况下，仅对攻击目标归属簇产生影响。可用性，在无监督聚类中，是尽可能使得目标样本的聚类结果性能变差，即它们的聚类结构发生最大改变。隐私性，攻击者通过对聚类过程观测到的数据进行逆向工程，从中推理获得原始数据中的用户隐私信息。攻击者的知识关于数据的知识，即聚类数据集D的全部或部分特征。关于特征的知识，特征空间是数据样本表示的基础，是聚类算法处理的数据表示关于聚类算法的知识，目标系统使用的算法类型、具体算法，簇的组织方式关于算法参数的知识，大部分聚类算法都存在一些需要人工设定的参数攻击者的能力攻击者的能力定义了攻击者如何控制聚类过程，以及对聚类过程能控制到什么样的程度。操控聚类数据的方式有以下三种。一是，往数据集中增加样本，限定所允许增加的样本数量；二是，修改数据集中的样本，具体是通过改变样本的特征权重来实现。在实际中，样本的修改存在最大修改量限制。三是，删除数据中的样本，这种方式只发生在数据层。被删除的样本数量也应受到限制。攻击方式针对攻击者的完美知识和不完美知识两种情况，攻击方式分别有白盒攻击和黑盒攻击。从聚类算法安全的角度来看，这两种攻击分别对应于安全性的两个边界，因此运用攻击方法来检验聚类算法的抗攻击能力。白盒攻击又可以分为投毒攻击和混淆攻击，分别对应于不同的攻击目标。攻击性能评价对聚类算法的攻击最终使得聚类结构发生变化，衡量攻击性能时可以基于样本与簇相似性矩阵来运算。也可以从聚类有效性（ClusterValidityIndex）指标来衡量。常用的聚类有效性指标有Calinski-Harabasz（CH）、Davies-Bouldin（DB）、Xie-Beni等。提纲聚类攻击场景聚类算法的攻击模型聚类算法的攻击方法天池AI上的例子聚类算法的攻击样本生成要比分类模型难得多，因为大部分聚类算法本质上是启发式的(ad-hoc)，不像分类模型有比较好定义的攻击目标函数。目前的方法主要是针对输入数据集，研究如何进行样本的添加，使得对修改后的数据集产生聚类错误的样本比例最大化。为此，有两种基本的策略，分别是桥接攻击和扩展攻击。桥接攻击在有限的攻击样本下实现最大化聚类错误，基于桥接策略的启发式算法，采用贪心算法思想，每次增加一个攻击样本，寻找投毒攻击目标函数的局部极大值。DBScan的桥接攻击DBScan的防御从防御的角度看，在执行DBSCAN之前可以先对数据集进行清洗，去除可能是恶意加入的攻击样本。根据攻击样本的特征，可以假设边界点（outlier）度量来检测这些样本。扩展攻击为了有效改变聚类结果，桥接攻击的途径是合并两个簇，与此相反的策略就是拆分簇，即所谓的扩展攻击。正如名称所提示，扩展攻击是通过在簇的边缘区域添加数据点，从而改变簇间的平均距离。假设以A为攻击对象，那么攻击者可以找到A中的边缘数据点，然后在其周围添加攻击点。如图中给p1和p2两个点。提纲聚类攻击场景聚类算法的攻击模型聚类算法的攻击方法天池AI上的例子以KMeans聚类算法的攻击为例，攻击方法是桥接算法，只在距离最近的两个簇之间进行桥接。用sklearn的make_blobs方法生成样本数据，模拟数据共50个样本，每个样本有2个特征，共有3个簇。在线实验入口：/course/990具体实验和测试操作请参考第14章。**