人工智能安全-15-机器学习平台的安全.ppt

**人工智能安全

--机器学习平台的安全提纲机器学习平台漏洞Tensorflow的模型安全机器学习开源平台，如TensorFlow、PyTorch等，它们支持快速的模型开发和训练，支持多种硬件结构和灵活的部署方式，极大地方便了机器学习模型的开发测试。但是，这些平台本身存在一定的安全问题，一是自身存在漏洞，二是模型的潜在风险。平台自身的漏洞根据国家信息安全漏洞库（/），2019年起至2021.9.30期间，TensorFlow漏洞总数为206个。依赖库的漏洞复杂的机器学习框架都比较多地依赖于其他第三方包，例如numpy包就是其中一个很重要的第三方包，其他的还有OpenCV、protobuf等。据统计，TensorFlow、Caffe和Pytorch都有100左右个依赖库。这些包本身也会存在一些漏洞，因此其安全风险也间接影响到基于机器学习框架而构建的用户应用程序。这些漏洞一方面，可能使得攻击者可以通过改写内存来改变输入数据，最终对上层的学习算法造成影响。由于攻击者在这种情况下可以修改任意数据，因此使得投毒攻击除了直接修改原始数据集外，又增加了一种新的途径。另一方面，也可能使得攻击者直接获取修改控制流的能力，从而造成模型逻辑出现异常，达不到预期效果。提纲机器学习平台漏洞Tensorflow的模型安全Tensorflow的模型机制模型与参数分离的机制来自DistBelief的参数服务器（ParameterServer）架构。TensorFlow的模型可以用一张图来可视化，即数据流图Tensorflow提供了两种模型持久化机制，允许开发人员保存模型到指定目录和文件中。这两种机制分别是tf.train.Saver和tf.saved_model。很多网站提供了一些TensorFlow的预训练模型/tensorflow/models/tree/master/research/slim读入模型可以在本地使用导入模型，包括自己训练的模型和第三方训练好的模型。对于tf.train.Saver保存模型，主要有两个步骤，即构造网络图和加载参数。可以通过f.train.import_meta_graph来加载meta文件，然后就可以通过graph.get_tensor_by_name()等来获取模型参数模型风险与攻击模型的风险体现：文件操作带后门的模型恶意训练的模型安全措施针对模型安全问题，目前可以使用的安全措施主要有：利用TensorBoard检查模型图、利用saved_model_cli检查可疑操作以及使用新的安全框架。当从第三方下载的模型中包含tensorboard，可以通过控制台命令来查看模型图结构。saved_model_cli官方针对tf.saved_model方式存储的模型，设计了一个模型命令行工具saved_model_cli。该工具在安装TensorFlow时，默认就安装了。它具有扫描（scan）功能，可以列出模型中的可疑操作，供用户做进一步判断。使用新的安全框架KunkelR等人提出TensorSCONE[3]，它是基于英特尔SGX的Tensorflow的通用安全机器学习框架。IntelSGX通过扩展指令集和维护访问控制策略来提供内存安全区Enclave，它是一种可信计算技术，将程序的需要保护的核心部分在内存安全区中隔离执行，从而保证程序运行的安全性。**