合众数据集成系统产品介绍.pptx

合众数据集成系统UTL

产品介绍

1背景介绍3产品功能2产品介绍4产品优势

3数据异构信息孤岛现象严重存数据错误、重复应用现状背景介绍

1背景介绍3产品功能4产品优势2产品介绍

合众数据集成系统UTL是一个专门用于实现数据清洗、数据转换、数据归并、数据分拆、数据匹配、静态代码转换、数据分发等作用的产品。数据集成数据转换数据归并分拆数据分发数据匹配数据清洗产品介绍

规格设计工作流调度实时监视数据转换数据清洗支持几乎所有主流数据接口；支持各种字段级的映射转换；支持数据库存储过程及函数的调用支持脚本编程系统提供各种数据检测函数，帮助用户发现异常数据.为用户提供向导式的数据整合规则设置系统内置工作流建模工具和调度引擎，用户可自由定义任务的触发条件及执行路径，控制多任务的协同运行实时显示每个转换控件的业务运行情况.服务审计对每个服务运行进行详细审计，并提供方便快捷的统计、审计.查询界面产品功能

合众数据集成系统由数据集成引擎、配置器(B/S)、监控器(B/S)三部分组成系统组成产品架构

模版架构

关系型数据库01格式化文本02分布式大数据库03数据接口类型

1背景介绍3产品功能2产品介绍4产品优势

数据集成

系统支持几乎所有主流数据接口,如Oracle/SQLServer/Sybase/DB2/MySql/OracleRAC/瀚高/中兴分布式数据库/达梦/Dbone/impala等多种数据源，以及TXET/CSV/XML/EXCEL/ACCESS等格式化文件，hbase大数据库数据清洗

数据转换

源数据库UTL系统支持将源数据库中的记录分发到不同的目标库，针对每个分发目标库都可以设置分发的条件；系统支持批量装载。目标库目标库目标库数据装载

时间戳模式RDS模式触发器模式支持增量机制

系统可以将多个UTL任务包装为一个UTL服务（Service）每个服务可以自定义调度方式，自动调度可以按任意的时间间隔（年、月、日、时、分），也可以根据用户的需要实时执行服务调度可分为实时调度、定时调度、手工一次调度支持服务调度

系统监控系统管理统计与审计业务管理其它监控器

查看服务器CPU使用率、内存使用率、硬盘使用率查看服务CPU使用率、内存使用率系统监控

白名单设置-设置能访问的IP段系统日志-查看系统开机日志和重启日志系统高级设置系统管理

设置服务器时间软锁授权业务导入业务导出平台导入平台导出恢复出厂设置重启关机系统高级设置

调度审计条数统计流量统计条数对比条数追踪报警日志管理员操作审计统计与审计

服务展示服务操作服务控制服务监控服务管理

所有服务的展示节点中所有服务的展示注：单页最多显示（默认）30个服务，允许分页操作单个服务的展示服务展示

添加修改删除调度服务操作

部署-初始化调度信息-选择是否清空运行数据启动-只发送启动指令，结果由服务状态反馈停止-只发送停止指令，结果由服务状态反馈服务控制

服务管理首页监控项：-服务名-数据分析-状态-结构视图-报警-运行当前值-今日调度-运行日志-今日流量-服务下载-调度结果页面刷新-局部刷新-全部刷新服务监控

1背景介绍3产品功能4产品优势2产品介绍

B/S监控器全中文B/S架构

系统支持主流的各种列式数据库，如UDB、Hbase、Cassadra等，支持HDFS分布式文件系统,可以将数据抽取存储到分布式文件系统内。支持大数据

转换控件作业控件丰富的控件

RocketMQ生产者ActiveMQ消费者支持消息队列

Flume是一个具备高可用性与高可靠性的分布式海量日志采集、聚合和传输的系统，Flume是UTL的一种重要的数据摄取方式。Flume支持定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。支持FLUME

系统集成脚本开发环境，支持语法加亮、断点调试、单步运行、变量监视等，充分满足二次开发需要。支持脚本编程

拖动鼠标设计设计转换作业通过鼠标拖拉的方式实现图形化的作业配置，客户无需编程经验，只要具备业务知识和基本的数据库技能，就可以方便配置业务，特别适合熟悉业务的客户数据库管理员、业务管理员、工程实施人员使用。拖拽化流程设计

UTL系统采用了统一内存分配算法，只在数据集成服务需要调用内存时分配内存，使用完内存后就回收内存，这样可以保证内存使用的优化，保证能够在一个服务器或者虚拟机上