【国家网络安全技术委员会】AI安全治理框架 2024（英译中）.docx

AI安全治理框架

国家网络安全技术委员会260SAC2024.9

-1-

AI安全治理框架

AI安全治理框架(V1.0)

人工智能（AI），一个新兴的人类发展领域，为世界带来了重大机遇，同时也提出了各种风险和挑战。秉持以人民为中心的原则，遵循“AI为善”的基本原则，该框架旨在实施全球人工智能治理倡议，并促进政府、国际组织、公司、研究机构、民间组织和个人之间的共识与协调努力，在人工智能安全治理方面共同行动，旨在有效预防和化解AI安全风险。

1.AI安全治理原则

致力于共同、全面、合作和可持续的安全愿景，同时同等重视发展与安全。

-优先考虑AI的创新发展

-以有效预防和化解AI安全风险为出发点和最终目标

-2-

AI安全治理框架

建立治理机制，涵盖所有利益相关者，整合技术和管理，确保各方之间的协调努力和合作

-确保所有相关方充分承担起AI安全责任

-创建一个全流程、全要素的治理链

-为技术研究，开发和应用提供安全，可靠，公平和透明的AI

-促进人工智能的健康发展和规范应用

——切实维护国家主权、安全、发展利益

-保护公民、法人和其他组织的合法权益

——保证AI技术造福人类

1.1包容审慎，确保安全

我们鼓励发展与创新，并采取包容性方法进行人工智能的研究、开发与应用。我们全力确保人工智能的安全性，并将及时采取措施应对任何可能威胁国家安全、损害公众利益或侵犯个人合法权益的风险。

-3-

1.2通过敏捷治理识别风险

通过紧密追踪人工智能研究、开发和应用的趋势，我们从技术本身及其应用两个视角识别AI安全风险。我们提出定制化的预防措施以减轻这些风险。我们遵循安全风险的发展，根据需要迅速调整我们的治理措施。我们致力于改进治理机制和方法，并对需要政府监督的问题做出及时响应。

1.3整合技术和管理以协调应对

我们采用全面的安全治理方法，将技术和管理相结合，以预防和解决AI研究、开发和应用全过程中各种安全风险。在AI研究、开发和应用的链条中，确保所有相关方，包括模型和算法的研究者与开发者、服务提供商和服务用户 ,各自承担起AI安全的责任至关重要。此方法充分利用了政府监督、行业自律和社会监督等治理机制的作用。

1.4促进开放与合作，共同治理和共享利益

-4-

在全球范围内分享人工智能安全治理的最佳实践，我们推动国际间的合作。我们提倡建立开放平台，并通过跨学科、跨领域、跨地区和跨国界的对话与合作，致力于构建全球人工智能治理体系，努力达成广泛的共识。

2.AI安全治理框架

基于风险管理的理念，该框架概述了通过技术与管理策略来应对不同类型的AI安全风险的控制措施。随着AI研究、开发及应用的快速演进，导致安全风险的形式、影响以及我们对其的认知均发生改变，持续更新控制措施并邀请所有利益相关方共同完善治理体系变得至关重要。

2.1安全和安全风险

通过考察人工智能技术及其在各个行业和领域的应用情景的特点，我们明确了与技术本身及其应用固有相关且安全与安全风险、潜在危险。

2.2技术对策

关于模型和算法，训练数据，计算设施，

-5-

针对产品与服务、以及应用场景，我们提议采取针对性的技术措施以提升人工智能产品的安全性和可靠性、公平性、稳定性和健壮性。这些措施涵盖安全软件开发、数据质量优化、加强系统与操作安全、以及执行评估、监控和强化活动。

2.3综合治理措施

遵循协同努力和联合治理的原则，我们明确了所有利益相关方——包括技术研发机构、产品和服务提供商、用户、政府部门、行业协会和社会组织——应采取的措施以识别、预防和应对AI安全风险。

2.4AI开发和应用的安全指南

我们提出了一系列安全指导方针，适用于AI模型和算法开发者、AI服务提供商、关键领域用户以及一般用户，旨在开发及应用AI技术。

3.AI安全风险的分类

AI链条的每一个阶段都存在安全风险，从系统设计到研发（RD）、训练、测试、部署等。

-6-

利用和维护。这些风险源自固有的技术缺陷，以及对AI的误用、滥用和恶意使用。

3.1AI固有安全风险

3.1.1模型和算法的风险

(a)可解释性的风险

人工智能算法，以深度学习为代表，具有复杂的内部运作机制。它们的黑盒或灰盒推理过程导致不可预测且无法追踪的输出结果，这使得在出现异常情况时，难以快速修正这些问题或追溯其源头以确保责任可追溯性。

(b)偏见和歧视的风险

在算法设计与训练过程中，可能会有意或无意地引入个人偏见。此外，数据质量差可能导致算法设计和输出结果出现偏见或歧视性