强化学习-智能科学与人工智能.PPT

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 史忠植 人工智能： 机器学习 * 蚁群算法模型 基本模型 简化模型 由James Kenney（社会心理学博士）和Russ Eberhart（电子工程学博士， /~eberhart/ ）于1995年提出粒子群算法（Particle Swarm Optimization, PSO） 源于对鸟群捕食行为的研究，是基于迭代的方法 简单易于实现，需要调整的参数相对较少 粒子群优化 * 史忠植 人工智能： 机器学习 * 鸟群： 假设一个区域，所有的鸟都不知道食物的位置，但是它们知道当前位置离食物还有多远。 PSO算法 每个解看作一只鸟，称为“粒子(particle)”，所有的粒子都有一个适应值，每个粒子都有一个速度决定它们的飞翔方向和距离，粒子们追随当前最优粒子在解空间中搜索。 粒子群优化 * 史忠植 人工智能： 机器学习 * 粒子速度和位置的更新 假设在D维搜索空间中，有m个粒子； 其中第i个粒子的位置为矢量 其飞翔速度也是一个矢量，记为 第i个粒子搜索到的最优位置为 整个粒子群搜索到的最优位置为 第i个粒子的位置和速度更新为： 粒子群优化算法 * 史忠植 人工智能： 机器学习 * 粒子速度和位置的更新 其中，w称为惯性权重， c1和c2为两个正常数，称 为加速因子。 将 vidk 限制在一个最大速 度 vmax 内。 x k v k p p gbest x k+1 v k+1 k k k+1 k+1 粒子群优化算法 * 史忠植 人工智能： 机器学习 * 粒子速度和位置的更新 “惯性部分”，对自身运动状态的信任 “认知部分”，对微粒本身的思考，即来源于自己经验的部分 “社会部分”，微粒间的信息共享，来源于群体中的其它优秀微粒的经验 粒子群优化算法 * 史忠植 人工智能： 机器学习 * Start Initialize particles with random position and velocity vectors. For each particle’s position (xi) evaluate fitness If fitness(xi) better than fitness(p) then p= xi Loop until all particles exhaust Set best of ps as gBest Update particles velocity and position Loop until max iter Stop: giving gBest, optimal solution. 粒子群优化算法流程 * 史忠植 人工智能： 机器学习 * * 史忠植 人工智能： 机器学习 * 内容提要 5.1 机器学习概述 5.2 归纳学习 5.3 类比学习 5.4 统计学习 5.5 强化学习 5.6 进化计算 5.7 群体智能 5.8 知识发现 5.9 小结 * 史忠植 人工智能： 机器学习 * 数据库知识发现 目前, 大数据知识发现(Knowledge Discovery from Datasets KDD)的研究非常活跃，极为应用广泛。 该术语于1989年出现，Fayyad定义为“KDD是从数据集中识别出有效的、新颖的、潜在有用的，以及最终可理解的模式的非平凡过程” * 史忠植 人工智能： 机器学习 * 不同的术语名称 知识发现是一门来自不同领域的研究者关注的交叉性学科，因此导致了很多不同的术语名称。 知识发现:人工智能和机器学习界。 数据挖掘(data mining): 统计界、数据分析、数据库和管理信息系统界 知识抽取 (information extraction)、 信息发现 (information discovery)、 智能数据分析 (intelligent data analysis)、 探索式数据分析 (exploratory data analysis) 信息收获 (information harvesting) 数据考古 (data archeology) * 史忠植 人工智能： 机器学习 * 知识发现步骤 * 史忠植 人工智能： 机器学习 * 知