大数据应用技术专业《日志数据采集》-1《日志数据采集平台搭建》工作页.docx

日志数据采集平台搭建

PAGE4

LS5.3LAMP服务器部署

1《日志数据采集平台搭建》工作页

班级____________姓名____________组名____________日期____________

一、工作情境描述

日志中的数据是各行各业的深层价值型信息。当前学校要将记录IT行业中大数据相关岗位工作的日志数据进行收集、获取，作为人才培养目标的设定依据之一，需要我大数据项目组采集日志数据，帮助学校了解当前大数据岗位工作对学生知识技能和职业素养的深层要求。

现在请各位同学根据前期所学的网络、虚拟机知识，完成日志数据采集平台搭建。

项目说明：

数据采集是获取数据的一种手段和技术，包括互联网数据采集、日志数据采集和数据库采集等。其中日志数据一般由数据源系统产生，日志数据采集用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和web服务器记录的用户访问行为。很多互联网企业都有自己的海量数据采集工具，多用于系统日志采集，如Hadoop的Chukwa，Cloudera的Flume，Facebook的Scribe等，这些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求。参考数据采集技术由低到高进阶层级，将数据采集工程师岗位的平台搭建项目作为教学内容引入课堂中，旨在使学生掌握日志数据采集专业知识技能的同时，锻炼学生的各项职业素养。

二、工作任务交接

（一）完成任务交接

请同学们以小组为单位学习《客户接待服务规范》的学习材料，学习完后根据本次任务实际情境填写下列表格。

任务交接表

项目

知识与技能

备注

接待客户代表的流程

询问客户代表的问题

客户代表接待规范

接待岗位上岗前准备工作

接待礼仪

接待态度

送客礼仪

（二）记录任务交接

请各小组拟定客户代表接待的方案，由学生分别担任客户代表、任务交接人、任务接收人模拟接收任务，并填写下表。

任务交接记录单

姓名

日期

联系方式

通讯地址

任务描述

具体要求

方案制订人

联系人

完成时间

数量

备注说明

计划交单时间

实际交单时间

填单/交接人签字

任务接收人签字

三、获取客户需求

（一）前置准备的操作步骤

请同学们查看学习平台上的《日志数据采集平台搭建前置准备》学习材料，进行自主独立学习，了解日志数据采集平台，提炼出搭建日志数据采集平台时的注意事项，完成以下表格。

搭建日志数据采集平台时的注意事项

序号

特点

（二）分析客户需求信息

观看学习平台上的微课《分析客户需求信息》，记录学习时注意的事项，并完成下列表格。

分析客户需求记录单

分析信息

知识技能点

需求内容及特点

安全要求

时间期限

四、制定工作方案

（一）制定日志数据采集的平台搭建方案

请同学们依据用户需求制订日志数据采集的平台搭建方案，内容包括：日志数据采集平台的搭建、Flume的安装和不同应用场景下的配置，完成以下表格。

日志数据采集的平台搭建方案

小组

方案内容

完成时间

日志数据采集平台的搭建

Flume的安装和不同应用场景下的配置

日志数据采集平台的搭建方案

方案序号

系统环境

推荐理由

系统版本

计算机内存

计算机处理器

Flume的安装和不同应用场景下的配置方案

方案序号

Flume环境

推荐理由

Flume版本

计算机内存

（二）记录日志数据采集的平台搭建操作步骤

请同学们查看学习平台上的《日志数据采集平台搭建》学习材料，进行自主独立学习，提炼出日志数据采集中的平台搭建步骤，完成以下表格。

日志数据采集的平台搭建步骤

序号

步骤

（三）总结日志数据采集的平台搭建案例

请同学们小组合作，自主学习《日志数据采集的平台搭建》案例中的具体内容，并提炼记录在以下表格中。

日志数据采集的平台搭建案例

序号

完整案例内容

五、制定工作计划

请各小组同学参考学习平台中的工作计划范例，运用餐垫法进行头脑风暴，根据所学的知识及任务要求讨论执行任务的详细计划，各小组成员先单独在各自区域撰写部署任务的计划，然后进行讨论汇总，并将小组共同的答案写在团队成果区。

日志数据采集平台搭建计划记录表

小组成员

分工

工作步骤内容

使用设备

具体实施步骤

预计时间

实施情况记录

资料查找计划

平台搭建计划

工作计划制定完成后，请综合其他小组、教师的建议将本组的工作计划最终方案确定。

六、执行工作任务

以上达标无问题的小组可以分工尝试搭建日志数据采集平台。

日志数据采集的平台搭建

日志数据采集平台搭建所需环境

Flume安装

Flume配置

注意事项

七、任务交付

请同学们以小组为单位学习《项目交付指南》的学习材料，学习完后将搭建完成的平台梳理成结果，汇总后交付给客户代表，并用角色扮演的方式进行交付，完成任务交付记录单。

任务交付记录单

日期

接待

人员

任务

内容

客户代表反馈