原创力文档- 1、本文档共57页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
2023
1Part
1
Part
应用
应用分析处理存储采集
2
Part
大数据产品架构
智能调度
智能调度
任务发布 任务调度 任务管理任务监控 任务关联
共享开放
服务APISDKJDBC/ODBC微服务
模型算法库机器学习可视化建模
模型算法库机器学习可视化建模
人工智能
数据总线
数据处理
数据分析
数据迁移
Hive
HiveHbase
数据
HDFS
关系型数据库
其他
数据
库
内存
库
数据治理
数据标准
数据质量 元数据管理 数据地图数据资产
数据采集
数据采集
实时采集离线采集
结构化数据采集非结构化数据采集
数据安全
数据安全
权限管理安全接入 数据加解密数据分级 日志审计 统一认证
2
Part
产品定位
随着大数据时代的不断发展，各大企业、政府纷纷建立大数据中心，数据分析、应用的脚步越来越快，在此过程中，异构数据源的使用、关联分析的需求越发旺盛，如何快速、便捷地采集异构数据至大数据平台，成为数据采集汇聚的关键。
我司提供的数据汇聚产品主要功能是将各种存储方式的数据源接入到大数据平台或者其他数据仓库。通过提供可视化界面，帮助用户轻松完成采集任务创建、运行，并实时提供任务监控，使用户随时了解自己的采集任务状态。
采用主流的流式计算引擎作为产品的主要采集框架，提供离线采集、实时采集两种方式，满足用户不同的采集需求。
02组件灵活提供多种基础数据源组件，处理组件，目标组件
02
组件灵活
提供多种基础数据源组件，处理组件，目标组件，也可根据用户需求，任意拼装该些组件部署，更可为用户提供定制化组件的开发
03
实时监控
工具提供实时监控功能，
用户可随时查看采集任务状态，及时干预，避免数据漏采，少采
04
服务完善
专业的技术团队随时为用户提供技术支持工作，提供7*24小时专业服务保障
01
01
快捷易用
全流程可视化操作，拖拽式编辑工作流，配置采集信息，采集任务轻松灵活完成
可视化□数据源类型：?数据采集汇聚支持多种类型数据源的采集，如下表：文本类
可视化
□数据源类型：
?数据采集汇聚支持多种类型数据源的采集，如下表：
文本类
关系型数据库
其他
本地文件
Oracle
消息队列
FTP
SQLServer
Nosql数据库
SFTP
MySQL
协议类
□采集框架：
?通过Kakfa消息队列、Storm流式处理以及Spark-Streaming实时计算方式，实现实时数据采集；
?通过Flume实现批量数据采集；
□数据存储：
?提供主流关系型数据库以及HDFS分布式多冗余存储，支持动态扩缩容
□可视化：
?提供可配置数据源组件，处理组件，终端组件，用户可自定义工作流，实现采集任务
?提供任务监控供用户查看工作流执行情况，提供资源监控供管理员对系统资源进行整体把控
2
Part
数据存储
数据采集
数据源
FTP
FTP/SFTP
HDFS
HDFS
Kafka
Kafka
关系型
关系型数据库
Nosql
Nosql
本地文件
本地文件
HTTP
HTTP
……
……
?FTP?本地文件?
?FTP
?本地文件?HDFS
?kafkaV8
?关系型数据库
(oracle、mysql、
sqlserver、南大通用、武汉达梦等)
?hbase
?Flume?Storm?Spark?Flink
2
Part
?FTP
?本地文件?HDFS
?kafka
?关系型数据库(oracle、mysql、sqlserver、南大通用、武汉达梦等)
?Hbase?Hive?ES
数据采集产品——配置化采集2Part
数据采集产品——配置化采集
2
Part
STEP1.选择组件STEP2.配置信息STEP3.执行工作流
文档评论（0）