CONA数据治理平台计算引擎使用手册V3.3.2.docx

CONA数据治理平台

产品使用手册V3.3.2

2019年02月17日

CONA计算引擎使用手册

版本编号：V2.1

2019年02月17日

目录

1 产品概述 6

1.1 背景及优势 6

1.2 功能概述 7

2 功能模块操作 8

2.1 参数配置 8

2.1.1 手动调参 8

2.1.1.1 界面功能说明 8

2.1.1.2 修改/保存配置模版 10

2.1.2 自动调参 11

2.1.3 操作面板 12

2.1.3.1 切换任务执行模式 12

2.1.3.2 设置任务失败后执行策略 13

2.1.3.3 设置任务执行时并行数量 14

2.2 调度中心 14

2.2.1 任务管理 15

2.2.1.1 任务查看 15

2.2.1.2 任务执行/终止 17

2.2.1.3 新增任务 18

2.2.1.4 任务编辑 21

2.2.1.5 任务删除 21

2.2.1.6 任务上线/下线 22

2.2.1.7 添加模式说明 23

2.2.1.8 任务筛选 25

2.2.2 调度日志 26

2.2.2.1 调度日志查看 27

2.2.2.2 详情日志查看 28

2.2.2.3 调度任务重跑 29

2.3 专家模式(重要) 31

2.3.1 帮助说明 31

2.3.2 算子展示 32

2.3.2.1 原始表视图 33

2.3.2.2 目标表视图 34

2.3.3 算子选取 36

2.3.3.1 选择/取消选择单个算子 36

2.3.3.2 算子计数 37

2.3.3.3 选取算子右侧所有算子 38

2.3.3.4 选取层级中所有已展示出来的算子 39

2.3.3.5 选取层级中所有已展示和未展示出来的算子 40

2.3.4 算子操作 41

2.3.4.1 查看算子详情 41

2.3.4.2 编辑算子 43

2.3.4.3 从任务队列中删除算子 44

2.3.4.4 重跑任务队列中的算子 46

2.4 任务队列 48

2.4.1 任务队列查看 48

2.4.2 启动/暂停任务队列 49

2.4.3 刷新任务队列 50

2.4.4 算子操作 51

2.4.4.1 查看算子详情 51

2.4.4.2 编辑算子 52

2.4.4.3 重跑算子 53

2.4.4.4 查看日志 54

3 场景引导操作（暂无） 56

4 产品管理 56

4.1 如何升级到新版Scheduler 56

4.1.1 备份Cona数据库 57

4.1.2 升级Cona服务 57

4.1.3 迁移任务 57

产品概述

背景及优势

CONA之前的计算引擎，主要包含createDag（创建算子）、createDagMerge（创建融合算子）、runDag（任务的调度）这三步。

新Scheduler即CONAUI菜单栏中的“计算引擎”。如此迫切需要新scheduler的原因主要是新Scheduler具备以下几点：

参数配置更加灵活、参数模块清晰，支持一键修改所有算子参数；

执行效率高，针对hive2Hdfs阶段引入增量加速算子，命名：hive2HdfsA；

任务新增两种执行策略，即工作模式/全力模式（任务失败后，继续/停止）；

创建算子的过程已完全界面化，无需人工后台操作脚本；实现一键添加算子，不仅提高工作效率，而且也避免很多操作性错误；

专家模式更加人性化，实现对所有算子批量操作的功能；最主要的是专家模式入口分为原始表入口和目标表入口，用户可根据不同的业务场景，选择对应入口，快速完成对算子的批量操作；

任务队列设计更加精美，为用户提供算子执行后的状态信息；

新Scheduler在提升用户体验方面已进行深入探究；

所有算子的运行日志都可以前端页面查看。

功能概述

计算引擎中包含参数配置、调度中心、专家模式与任务队列四部分，参数配置主要用于调度任务的整体配置（例如并行任务的设置、失败策略等）；调度中心主要用于创建与管理任务集合；任务队列主要用于展示与管理所有任务级的每一个具体的算子；为便于管理与查看，新增的调度日志将依据任务集合每次的执行情况进行维度管理与展示（支持重跑）；专家模式，相当于调度中心的另一种方式对任务算子进行管理，现场实施人员，可直接进入专家模式，针对性的创建任务算子，单独或批量执行算子任务。

参数配置：帮助用户灵活调整任务执行参数，合理地分配计算资源；

调度中心：为用户提供数据治理任务的创建与管理功能，支持用户对调度日志进行查看；

专家模式：对‘全量添加’和‘增量添加’生成的DAG任务进行单独操作，包括删除、重跑；

任务队列：算子的运行队列列表，用于辅助用户查看任务运行情况。

1-1-计算引擎

功能模块操作

参数配置

参数配置页面支持用户灵活调整任务执行参数，合理地分配计算资源。用户通过系统为用户提供的操作方式，修改既定模板中的参数；并