《安全数据湖的敏捷数据原则》.pdf

目录 致谢4 序言5 介绍7 问题7 什么是数据社区？8 理论与应用9 解决方案10 结语12 © 2023 云安全联盟大中华区版权所有 6 介绍 数据是横向和纵向跨越多个行业和组织的重要资产。无论是对政府、企业还是非营利组织， 资产的使用和安全都至关重要。然而，随着数据在规模性、多样性、高速性和变化性 （即 所谓的 “大数据”）方面的增长，在收集、存储和检索数据时要求保障安全性、隐私性的 需求以及性价比更高的技术也在不断发展。 一种目前正在广泛运用的技术是数据湖。具体来说，数据湖是一种集中式的数据库，用于 接收、存储和保护大量结构化和非结构化的数据。虽然数据湖是数据聚合的一个关键解决 方案，但光有数据湖技术是不够的，需要企业范围的数据原则来确保数据是可信的。而且， 在整个数据社区中最大限度地实现其价值并确保遵守越来越多的法规要求至关重要。 本文观点考察了当吧数据湖作为一种主要数据管理技术而呈现出的数据原则的基本参数， 包括确保数据的安全和隐私，并且不基于任何供应商的解决方案，而是考虑到数据湖的整 体保护，并为这些原则的执行提供了架构。 问题 数据湖通过提供对广泛的结构化和非结构化数据源进行有效集成与分析，为相应组织增加 巨大的价值。一般而言，数据湖以原始形式存储从多个数据源收集的海量数据，直到需要 数据时才定义数据结构和用户需求。如果组织要使用数据并确保其安全和隐私，数据湖必 须遵守严格的数据原则政策和相关程序。且需要得到数据社区 （DC）中所有人的信任。为 了从数据湖中获取最高的灵活性和性能，保障DC中的任何用户能轻而易举的获取正确的数 据，在适当的时候，跨多个数据集进行可靠的数据集成。执行此操作时，必须确信数据是 安全、准确和最高质量的。 数据原则包括角色和责任，是数据湖 “良好”持续数据管理的先决条件，并决定了整个DC 所需的决策，从而确保有效管理和安全。 什么是数据社区？ 社区定义为在特定领域具有共同利益的个人的统一团体；广义来说，是指将分散在一个更 大的社会或团体的人员和专家，由共同的兴趣和政策联系在一起形成一个共同的团体。因 此，数据社区是由平时分散在组织中投入研究数据的个人，通过常见的数据政策 （如隐私 政策）联系在一起而组成的统一团体。 确保组织中的DC正常运转是数据治理人员或者团队的职责。 《数据治理：如何设计、部署 和维持有效的数据治理计划》一书的作者John Ladley将数据治理定义为信息管理、企业信 息管理和数据架构的一个组成部分。正如财务会计师使用一个流程和一套原则管理公司的 财务一样，负责数据资产的数据经理也需要流程和规则。这些原则由数据治理建立，并由 信息管理团队实施。Ladley指出，“数据治理不是由管理信息的人员履行的职能。”相反， 数据治理是一种管理监督，有助于为数据管理过程提供秩序和框架。 数据社区是围绕关键数据集建立的。例如，一个社区可能负责财务数据管理，另一个负 责客户数据。这些社区确保其影响范围内的数据准确、及时、一致、安全，并提供给其 他社区。 任何社区的首要价值是为其成员提供归属感和安全感。数据社区也不例外。因此，确保数 据安全应该是社区章程的一部分，为数据用户提供了对收集和管理的数据的安全访问。 理论与应用 数据原则、政策和实施规则必须平衡数据本身的管理和控制及整个数据社区数据湖潜在用 户的需求，确保： 1. 信任：用户必须知道，从数据湖开发的可视化和报表是基于可识别和可靠 来源的准确数据 （“真相”），以便组织避免根据 “不良数据”的分析结果 做出错误的决定或行动 2. 数据血源可追溯性：用户必须能够通过数据生命周期中的多次跃程轻松识 别数据的血缘和安全性，包括数据的原始来源、任何中间转换过程中流程的 细节和算法的使用、安全控制以及复制数据转换路径中使用的任何数据的能 力。 3. 使用情况跟踪：组织必须知道谁访问了数据，包括特权用户、他们访问了 什么、是否进行了更改以及更改的方式和时间，以