数据挖掘章概念描述特征化与比较.pptVIP

概念描述 特征化和比较 什么是概念描述? 数据概化和基于汇总的特征化 解析特征化: 分析属性之间的关联性 挖掘类比较:获取不同类之间的不同处 在大型数据库中挖掘描述统计度量 讨论 总结 什么是概念描述? 描述性 vs. 预测性 数据挖掘 描述性数据挖掘: 预测性数据挖掘: 概念描述: 特征化:对所选择的数据集给出一个简单明了的描述，汇总 比较:提供对于两个或多个数据集进行比较的描述 概念描述和OLAP区别 概念描述: 能够处理复杂的数据类型和各种汇总方法 更加自动化 OLAP: 只能限制于少量的维度和数据类型 用户控制的流程 特征化和比较 什么是概念描述? 数据概化和基于汇总的特征化 分析特征化: 分析属性之间的关联性 挖掘类比较:获取不同类之间的不同处 在大型数据库中挖掘描述统计度量 讨论 总结 数据概化和基于汇总的特征化 数据概化 将大量的相关数据从一个较低的概念层次抽象、转化到一个比较高的层次 方法: OLAP方法： 面向属性的归纳 OLAP方法 在数据立方体上进行计算和存储结果 优点 效率高 能够计算多种汇总 如：count,average,sum,min,max 还可以使用roll-down和roll-up操作 限制 只能处理非数值化数据和数值数据的简单汇总。 只能分析，不能自动的选择哪些字段和相应的概念层次 面向属性的归纳 KDD Workshop(89)中提出 不限制于种类字段和特定的汇总方法 方法介绍： 使用SQL等收集相关数据 通过数据属性值删除和属性值概化来实现概化 聚集通过合并相等的广义元组，并累计他们对应的计数值进行 和使用者之间交互式的呈现方式. 基本方法 数据聚焦:选择和当前分析相关的数据，包括维。 属性删除: 如果某个属性包含大量不同值，但是 1)在该属性上没有概化操作， 或者2）它的较高层概念用其它属性表示。 属性概化:如果某个属性包含大量不同值，同时在该属性上有概化操作符，则运用该操作符进行概化。 属性阈值控制: typical 2-8, specified/default. 概化关系阈值控制: 控制最终关系的大小 基本算法 InitialRel: 得到相关数据，形成初始关系表 PreGen: 通过统计不同属性的含有的不同值的个数决定是丢弃该属性还是对其进行汇总。 PrimeGen:根据上一步的计算结果，对属性概化到相应的层次，计算汇总值，得到主概化关系。 结果的表示:概化关系、交叉表、3D立方体 示例 DMQL: use Big_University_DB mine characteristics as “Science_Students” in relevance to name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in “graduate” 相应的SQL: Select name, gender, major, birth_place, birth_date, residence, phone#, gpa from student where status in {“Msc”, “MBA”, “PhD” } 类特征化：示例 概化结果的表示 概化关系: 一个表格，其中有属性字段，后附汇总方法。 交叉表: 二维交叉表 可视化方法: Pie charts, bar charts, curves, cubes, and other visual forms. 量化特征规则: (上表与136页例4.26) 表达方式-概化关系(133页例4.22) 表达方式—交叉表(133页例4.23) 使用Cube技术进行实现 对给定的数据动态创建数据立方体： 便于有效的下钻操作 可能增加响应时间 解决方法：实现存储一些较高层次的统计信息。 使用预定义的数据立方体： 预先构建数据立方体 Cube计算的花费和额外的存储空间 特征化和比较 什么是概念描述? 数据概化和基于汇总的特征化 分析特征化: 分析属性之间的关联性 挖掘类比较:获取不同类之间的不同处 在大型数据库中挖掘描述统计度量 讨论 总结 属性相关性分析 why? 哪些维需要包括? 需要概化到什么层次? 减少属性；从而容易理解模型结果 What? 使用统计的方法进行数据预处理 过滤掉一些不相关或者相关性比较弱的字段 保留并对相关属性进行排序 相关性和维度、层次有关 分析特征化，分析比较 属性相关性分析 步骤： 数据收集 使用保守的AOI进行预相关分析 相关性分析，删除不相关和弱相关属性 使用AOI产生概念描述 相关性