第二章-知识发现.pptVIP

*知识发现的方法『统计方法二』近百年统计学得到很大的发展:1900－1920数据描述1920－1940统计模型的曙光1940－1960数理统计时代1960－1980随机模型假设的挑战1980－1990松弛结构模型假设1990－1999建模复杂的数据结构*知识发现的方法『统计方法三』1960-1980年间，统计学领域出现了一场革命:要从观测数据对依赖关系进行估计，只要知道未知依赖关系所属的函数集的某些一般的性质就足够了。引导这一革命的是60年代的四项发现:Tikhonov,Ivanov和Philips发现的关于解决不适定问题的正则化原则Parzen,Rosenblatt和Chentsov发现的参数统计学Vapnik和Chervonenkis发现的在泛函数空间的大数定理，以及它与学习过程的关系Kolmogorov,Solomonoff和Chaitin发现的算法复杂性及其与归纳推理的关系*知识发现的方法『统计方法四』与统计学有关的机器学习方法:传统方法:主要研究渐进理论，即当样本趋于无穷多时的统计性质。模糊集:是表示和处理不确定性数据的重要方法。支持向量机:建立在计算学习理论的结构风险最小化原则之上。。粗糙集:用于处理含糊性和不确定性。*传统方法

知识发现的方法『统计方法五』传统方法:主要研究渐进理论，即当样本趋于无穷多时的统计性质传统方法主要考虑测试预想的假设是否与数据模型拟合，它依赖于显式的基本概率模型统计方法处理过程可分为以下三个阶段:搜集数据:采样、试验设计分析数据:建模、知识发现、可视化进行推理:预测、分类常见的统计方法:回归分析（多元回归、自回归）判别分析（贝叶斯(Baysian)判别、费歇尔(fisher)判别、非参数判别）聚类分析（系统聚类、动态聚类等）探索性分析（主元分析法、相关分析法）*知识发现的方法『统计方法六』目前国际上流行的统计软件:SAS（StatisticsAnalysisSystem）被国内外许多学者誉为最权威的统计软件，操作复杂，较适合于专业统计人员使用SPSS（StatisticsPackagefortheSocialSciences）个人用户市场占有率第一BMDP（BiomedicalComputerPrograms）方法全面灵活，有很多独具特色的分析方法。被SPSS收购SYSTAT（TheSystemforStatistics）方法齐全，速度快，精度高，软件小，具有突出的图形优势，被SPSS收购EPIINFO和EPIMAP（EpidemiologyInformation）主要应用于流行病学领域，含有丰富的联机帮助*模糊集

知识发现的方法『统计方法七』

模糊集是表示和处理不确定性数据的重要方法模糊集不仅可以处理不完全数据、噪声或不精确数据,而且在开发数据的不确定性模型方面是有用的,能提供比传统方法更灵巧、更平滑的性能*支持向量机

知识发现的方法『统计方法八』支持向量机（SupportVectorMachine,SVM）建立在计算学习理论的结构风险最小化原则之上主要思想:针对两类分类问题，在高维空间中寻找一个超平面作为两类的分割，以保证最小的分类错误率优点:可以处理线性不可分的情况*粗糙集

知识发现的方法『统计方法八』粗糙集（roughset）理论由ZdziskewPawlak在1982年提出,用于处理含糊性和不确定性。粗糙集是由集合的下近似、上近似来定义的。下近似中的每一个成员都是该集合的确定成员,而不是上近似中的成员肯定不是该集合的成员。粗糙集的上近似是下近似和边界区的合并。边界区的成员可能是该集合的成员,但不是确定的成员。可以认为粗糙集是具有三值隶属函数的模糊集,即是、不是、也许。粗糙集与模糊集一样是一种处理数据不确定性的数学工具,常与规则归纳、分类和聚类方法结合起来使用,很少单独使用*知识发现的方法『机器学习一』机器学习的定义:如果一个系统能够通过执行某种过程而改进它的性能，这就是学习机器学习的三个要点:过程系统改变性能*知识发现的方法『机器学习二』一个简单的学习系统模型:环境学习单元知识库执行单元反馈*知识发现的方法『机器学习三』机器学习的研究方法:建模:使用多项式等为基函数，利用优化的方法建立模型，以刻划被控对象的行为用MP模型进行优化:将扩展为多个神经元的MP模型作为优化算法的基函数*知识发现的方法『机器学习四』常用的机器学习方法规则归纳:由已知的相关规则推出结论。（规则反映数据项中某些属性或数据集中某些