国家开放大学电大《大数据技术导论》实验报告实验3 网页数据获取.docxVIP

最新国家开放大学电大《大数据技术导论》实验报告 实验3网页数据获取 数据获取是数据生命周期中的第一个环节，数据抽取过程是搜索全部数据源，按照某种 标准选择合乎要求的数据，并将其进行适当的格式转换之后，传送到目的地中存储。为了克 服被抽取的数据源分布广泛、异构、非结构化等问题，数据抽取技术和抽取工具应运而生。 学习数据科学与大数据技术不仅需要掌握其理论，更重要的是能够运用工具和方法来完成数 据的获取。 .实验目的 通过网页数据获取的实验，学生可以理解网络爬虫的工作过程，掌握网页数据获取的方 法，并能够灵活运用，进而解决网页数据获取的实际问题。 .实验要求 理解爬虫软件的原理与方法，独立完成网页数据获取的实验，主要内容如下。 (1)前嗅ForeSpider爬虫软件安装。 (2)选择频道。 (3)网页数据采集过程。 .实验内容 (1)制订实验计划。 (2)完成爬虫软件安装。 (3)选择网页。 (4)完成爬虫软件数据采集过程。 .实验总结 通过本实验，使学生了解爬虫软件的特点、总体结构和分类，理解爬虫软件程序的执行 过程，掌握应用爬虫软件获取网页数据的方法。 .思考拓展 (1)结合爬虫软件的结构说明其主要功能。 (2)通过举例，说明csv格式文件的特点。 (3)应用前嗅ForeSpider爬虫软件能够采集非结构化数据吗？为什么？ (4)我们能够在网络上爬取什么数据？ 答: 网页数据获取方法如下 使用Flume获取数据 Flume安装部署 因为Flume的Agent是运行在JVM上的Java进程，所以Flume的安装运行需要Java 1.7及以上版本的支持, 以及对Agent目录的读/写权限。本次安装的环境为CentOS 7, Flume版本为Flume 1.8, JDK版本为Java 1.8。 安装步骤如下。 .下载并解压Flume。Flume卜载界面如下所示，选择二进制版本Apache Flume binary (tar.gz)中 的安装包，将其下载并解压到/home/hadoop/software目录。 Download Apache Flume is distributed under the Apache License, version 2.0 The link in the Mirrors column should display a list of available mirrors with a default selection based on your inferred location. If you do not see that page, try a different browser. The checksum and signature arc links to the originals on the main distribution server. Apache Flume binary (tar.gz)apachc-flumc-1.8.0- Apache Flume source (tar.gz)apachc-flumc- 1.8X)- sre .tar.gzsn t.ir p/ md5apachc-flumc-1.8.0- srx- tar g/ .shal apachc-flumc-1.8.0- sre tar.gz asc Apache Flume binary (tar.gz) apachc-flumc-1.8.0- Apache Flume source (tar.gz) apachc-flumc- 1.8X)- sre .tar.gz sn t.ir p/ md5 apachc-flumc-1.8.0- srx- tar g/ .shal apachc-flumc-1.8.0- sre tar.gz asc Flume安装部署 .配置环境变量，切换到root用户，编辑/etc/profile文件。 [root@master~]# vim /etc/profile 在文件末尾添加以下代码： Export FLUME_HOME= /home/hadoop/software/apache-flume-1? 8.0~bin export PATH=$PATH:$FLUME_HOME/bin 载入环境变量。 [root@master~]# source /etc/profile .切换到hadoop用户，修改flume?env.sh [root@master~]# su -hadoop bin/conf Fhime安装部署 [hadoop@master conf]$ cp flume-env.sh.template flume-env.sh [hadoop@master c