3数据仓库的设计开发及应用.ppt

Dept. of Computers,CUIT 数据仓库的设计、开发及应用 内容提要 数据仓库设计方法概述 DW设计与DB设计 DW规划及目标 ??DW设计的三级数据模型 ??数据仓库性能 ??数据仓库中的元数据 数据仓库设计步骤 概念模型设计 技术准备工作 逻辑模型设计 物理模型设计 数据仓库生成 数据仓库运行与维护 数据仓库与数据库设计 数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。 处理类型不同 DB : 操作型数据环境，面向业务 DW: 面向主题的分析型数据环境，面向分析，从基本主题开始，不断发展新主题 面向需求不同 DB : 一组较确定的应用(业务处理)需求; 较确定的数据流 DW: 需求不确切(定);分析处理需求灵活; 没有固定模式；用户对分析处理需求不甚明了； 其设计很难以需求为基础。 数据仓库设计与数据库设计的区别 设计目标不同 ??DB : 事务处理的性能（OLTP），支持多用户并发访问，高效的增、删、改操作 ??DW: 建立DSS的数据环境，全局的分析环境，支持用户快速的分析和查询 数据来源不同 ??DB : 企业的业务流程中产生的数据 ??DW: 系统内部，主要从OLTP系统中获取，经过转换、重组、综合; 同时包括部分外部信息。 设计方法不同 DB : SDLC(System Development Life Cycle)：应用需求驱动 DW: CLDS：数据驱动＋需求驱动 数据仓库设计原则 坚持“以数据驱动为中心，数据驱动和需求驱动相结合”的原则。 数据驱动是指根据当前数据基础和质量等情况，进行数据源分析。 需求驱动是指根据业务方向性需求、业务问题等，确定系统范围和需求框架。 SDLC方法与CLDS方法的区别 SDLC方法与CLDS方法的区别(续) 数据仓库设计（续） 数据仓库系统的原始需求不明确，且不断变化与增加，开发者最初不能确切了解到用户的明确而详细的需求，用户所能提供的无非是需求的大的方向以及部分需求，更不能较准确地预见到以后的需求。因此，采用原型法来进行数据仓库的开发是比较合适的。 数据仓库的开发应用周期可以分成：数据仓库规划分析阶段、数据仓库设计实施阶段以及数据仓库的使用维护三个阶段。 这三个阶段是一个不断循环、完善、提高的过程。在一般情况下数据仓库系统不可能在一个循环过程中完成，而是经过多次循环开发，每次循环都会为系统增加新的功能，使数据仓库的应用得到新的提高。 数据仓库设计(续） 数据仓库的设计开发又不同于一般意义上的原型法，数据仓库的设计是数据驱动的。这是因为数据仓库是在现存数据库系统基础上进行开发，它着眼于有效地抽取、综合、集成和挖掘已有数据库的数据资源，服务于企业高层领导管理决策分析的需要。 数据仓库建造过程中，如果开发者等完全明确需求之后开始工作，那么这个仓库永远建不起来。数据仓库系统开发也是一个经过不断循环、反馈而使系统不断增长与完善的过程 开发人员与DSS分析员的反馈循环十分重要。 在数据仓库的开发的整个过程中，自始至终要求决策人员和开发者的共同参与和密切协作，不做或尽量少做无效工作或重复工作。 数据仓库的螺旋式开发方法 数据仓库的规划 选择数据仓库实现策略 确定数据仓库的开发目标和实现范围 首要目标是确定所需要信息的范围，确定数据仓库在为用户提供决策帮助时，在主题和指标领域需要哪些数据源。 另一个重要目标是确定利用哪些方法和工具访问和导航数据？ 其它目标是确定数据仓库内部数据的规模 从用户的角度分析 从技术的角度分析 数据仓库的结构 数据仓库使用方案和项目规划预算 数据仓库在实际工程中的应用 数据仓库的设计和实现是一项工程，是不断建立、发展和完善、循环求精的过程，并不是一个可以简单购买的产品。 数据仓库在实际工程中的应用(续1) ??确定范围与项目定义 ?? 主要任务 ?? 系统边界的界定 ?? 定义并描述项目 ?? 步骤 ?? (1)了解用户方向性需求，发现业务问题，确定范围； ?? (2)对业务问题进行排序，选择高优先级业务问题，界定系统边界； ?? (3)定义和识别项目的目的、范围、前景、价值、约束、风险、障碍等，制定质量管理、配置管理等计划，形成项目定义文档； ?? (4)确定主题域，建立概念模型。 DW在实际工程中的设计方法（续2） ??应用系统及其数据的调研与分析 ??目标 ??为数据仓库系统发现运行稳定、数据可靠的源系统，并考察其数据状况。 ??主要任务 ??对系统边界内的应用系统进行调研和分析，制定高