数据科学导论教学课件（共8章）-第2章大数据学科与职业.pptxVIP

数 据 科 学 导 论 普通高等教育人工智能与大数据系列 大数据学科与职业 目录 CONTENTS 一种由搜索引擎根据网页之间相互的超链接来计算排名的算法。受这个算法的启示，著名的网络爬虫算法不仅限于对网页的分析，而是扩展到了超链接、URL队列、页面数据库，其收集的数据也由普通的网页排名扩展到了各种非结构化数据。 MapReduce的提出主要是为了解决谷歌所保存的网页数量过多这个问题的。谷歌服务器上保存的原始网页数量多，占用空间大，急需一种分布式并行计算框架对这些数据进行分析和处理。MapReduce在这种前提下应运而生。 GFS由Google公司首创及推广，适合于海量数据在大规模服务器集群上的分布式存储。其主要特点是对机器要求不高，可以分布在廉价机器上，且能灵活分割文件尺寸，并能通过多副本来提供容错机制。 Hadoop不是一个产品，而是多个软件产品组成的生态系统，这些软件共同实现全面的数据采集，分析，储存等功能。从技术上来看，其由两项关键业务组成：Hadoop分布式文件系统，以及高性能并行数据处理算法MapReduce。 一般来讲，大数据的概念源于美国，是由思科、威睿、甲骨文、IBM等公司联合提出的。 CDA（数据分析师认证）是一项大数据资质水平认证考试，由经管之家（原人大经济论坛）主办，在国内具有较大影响。CDA认证分为四个类别，即业务数据分析师、建模分析师、大数据分析师和数据科学家。 Level CDA证书 考点 I 业务数据分析师 数据分析概述与统计学基础、数据库基础、数据采集与处理等 II 建模分析师 数据挖掘基础理论、数据预处理、预测型数据挖掘模型等 II 大数据分析师 大数据基础理论、Hadoop理论、数据库理论及工具等 III 数据科学家 计算机科学与技术、大数据处理与架构设计、机器学习等 A类：突出平台理解和规划，学生掌握其中的知识点后可以胜任数据工程师的工作。 B类：突出数据和实践结合，强调学生应用大数据的知识体系解决现实中的问题。学生掌握之后，不仅可以从事纯数据的处理工作，也可以进入金融，商业，互联网等相关领域，从事其中和数据分析相关的工作。 C类：结合企业的需要和大数据平台的优势，突出数据可视化，商业智能等大数据分析等特点。学生掌握这方面技能之后，会更深入的理解数据的本质，从而在日常工作中用大数据更好地进行表达。 D类：则强调数据管理和运维，对数据存储，数据安全等领域进行更深层次的探讨。 个人隐私保护、网络爬虫协议、开源软件使用规范等   软件开发者道德规范 工程师道德规范 1 始终关注公众利益，按照与公众的安全、健康、幸福一致的方式发挥作用 始终以公众健康、安全和财产为出发点，及时公布可能危害公众的要素 2 提高职业正直性和声誉 发表声明或评估时，诚实、不浮夸 3 确保软件对公众，客户及用户有益，质量可接受，按时完成且价格合理 正确评价他人的贡献 4 保持数据的安全和正确；离开工作时，不应带走任何公司的财产，不应将项目告知他人 提高对技术，应用及各种潜在后果的理解 软件行业道德规范 大数据行业法律法规   名称 颁布时间 侧重内容 1 贵阳市大数据安全管理条例 2018年10月 数据安全 数据审计 2 个人信息安全规范 2017年12月 个人隐私保护 公众利益保护 3 大数据服务安全能力要求 2018年7月 公司从业资质 数据服务安全 4 大数据安全管理指南 2017年5月 数据管理安全 数据平台安全 感 谢 聆 听