大数据架构和模式-20170921.doc

大数据 DeveloperWorks (IBM) 2014 年 8 月 28 日发布 3 1.1 概述 3 1.2 从分类大数据到选择大数据解决方案 3 1.3 依据大数据类型对业务问题进行分类 4 1.4 使用大数据类型对大数据特征进行分类 6 1.5 结束语和致谢 8 第二章 如何知道一个大数据解决方案是否适合您的组织 10 2.1 简 介 10 2.2 我的大数据问题是否需要大数据解决方案 10 2.3 维度可帮助评估大数据解决方案的可行性 11 2.4 业务价值：可通过大数据技术获取何种洞察 12 2.5 我当前的环境能否扩展 16 2.6 扩展我当前的环境的成本是多少 16 2.7 对数据的治理和控制：对现有的 IT 治理有何影响 17 2.8 我能否增量地实现大数据解决方案 18 2.9 人员：是否已有恰当的技能并调整了合适的人员 18 2.10 是否拥有可用于获取洞察的现有数据 18 2.11 数据复杂性是否在增长 19 2.11.1 数据量是否已增长 19 2.11.2 数据种类是否已增多 19 2.11.3 数据的速度是否已增长或改变 19 2.11.4 您的数据是否值得信赖 20 2.12 是否所有大数据都存在大数据问题 20 第三章 理解大数据解决方案的架构层 21 3.1 概述 21 3.2 大数据解决方案的逻辑层 21 3.2.1 大数据来源 23 3.2.2 数据改动和存储层 26 3.2.3 分析层 26 3.2.4 使用层 26 3.3 垂直层 28 3.3.1 信息集成 28 3.3.2 大数据治理 29 3.3.3 服务质量层 29 3.3.4 系统管理 31 3.4 结束语 31 第四章 了解用于大数据解决方案的原子模式和复合模式 32 4.1 简介 32 4.2 原子模式 32 4.2.1 数据使用模式 33 4.2.2 处理模式 35 4.2.3 访问模式 37 4.2.4 存储模式 40 4.2.5 复合模式 41 4.3 结束语 44 第五章 对大数据问题应用解决方案模式并选择实现它的产品 47 5.1 简介 47 5.2 解决方案模式 47 5.3 用例描述：保险欺诈 47 5.4 解决方案模式：入门 48 5.5 解决方案模式：获得高级业务洞察 50 5.6 解决方案模式：采取下一个最佳行动 52 5.7 形成大数据解决方案骨干的产品和技术 54 5.8 在欺诈检测中使用大数据分析的好处 55 5.9 结束语 56 分享此页面 大数据分类和架构简介 摘要：大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得很困难。以下操作是一个良好的开端：依据必须处理的数据的格式、应用的分析类型、使用的处理技术，以及目标系统需要获取、加载、处理、分析和存储数据的数据源，对大数据问题进行分类。 概述 　　大数据可通过许多方式来存储、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。 　　大数据架构和模式系列提供了一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据问题很重要，所以我们包含了一些线索来帮助确定哪些业务问题适合采用大数据解决方案。 从分类大数据到选择大数据解决方案 　　如果您花时间研究过大数据解决方案，那么您一定知道它不是一个简单的任务。本系列将介绍查找满足您需求的大数据解决方案所涉及的主要步骤。 　　我们首先介绍术语 “大数据” 所描述的数据类型。为了简化各种大数据类型的复杂性，我们依据各种参数对大数据进行了分类，为任何大数据解决方案中涉及的各层和高级组件提供一个逻辑架构。接下来，我们通过定义原子和复合分类模式，提出一种结构来分类大数据业务问题。这些模式有助于确定要应用的合适的解决方案模式。我们提供了来自各行各业的示例业务问题。最后，对于每个组件和模式，我们给出了提供了相关功能的产品。 　　第 1 部分将介绍如何对大数据进行分类。本系列的后续文章将介绍以下主题： 定义大数据解决方案的各层和组件的逻辑架构 理解大数据解决方案的原子模式 理解用于大数据解决方案的复合（或混合）模式 为大数据解决方案选择一种解决方案模式 确定使用一个大数据解决方案解决一个业务问题的可行性 选择正确的产品来实现大数据解决方案 依据大数据类型对业务问题进行分类 　　业务问题可分类为不同的大数据问题类型。以后，我们将使用此类型确定合适的分类模式（原子或复合）和合适的大数据解决方案。但第一步是将业务问题映射到它的大数据类型。下表列出了常见的业务问题并为每个问题分配了一种大