CONA数据治理平台模板使用手册V3.3.2.docx

PAGE2

CONA数据治理平台

产品使用手册V3.3.2

2020年02月17日

目录

TOC\o1-3\h\z\u1 CONA模板 3

1.1 模板填写 3

1.1.1 数据源 3

1.1.2 原始表 5

1.1.3 原始表字段 5

1.2 模板上传 6

1.3 CONA模板生成工具的使用 6

CONA模板

通过模板文件，可以将不同类型数据源的原始表、原始表字段的相关信息进行管理。可支持数据源、原始表、原始表字段不同粒度的添加、修改、删除、展示等操作。

模板使用背景

我们在客户现场，因为数据源有多种，每个数据源下的原始表的数量不定，可能会出现很多，如果手动在前端一个一个添加，效率太低，所以给用户提供了一个导出模板的工具，可以从一个数据源中批量导出一个CONA定制的规范模板，大大的提高了效率；基于以上，CONA提供了模板导出工具。

模板填写

模板需要在EXCEL工作簿上进行填写。主要分为数据源、原始表、原始表字段三部分。一个数据源可以包含多个原始表，一个原始表可以包含多个原始表字段。如下图所示为一个完整的模板实例。

数据源

数据源部分分为三列，数据源名称、URL、数据源类型。如下图所示

数据源名称为用户自定义的，可以将不同类型的数据源依次填写。

URL为数据源连接URL，比如MySQL的JDBCURL：jdbc:mysql://localhost:3306/cona，Oracle的JDBCURL：jdbc:oracle:thin:@d183.mlamp.co:1521:orcl。

数据源类型为下拉选择，目前支持的有六大类，具体数据源类型和URL填写示例可以参考下面表格。

数据源类型

URL填写示例

oracle

jdbc:oracle:thin:@d183.mlamp.co:1521:orcl

mysql

jdbc:mysql://localhost:3306/test

hivehdfs

hdfs://ns1/user/hive/warehouse/test.db

hdfsTable

hdfs://ns1/cona/type

externalHive

/user/hive/warehouse/default.db

hivePieces

/user/hive/warehouse/default.db

原始表

原始表部分分为五列，原始表中文名、原始表英文名、表格优先级、增量类车道型和表格备注。

表格优先级必须下拉选择数字1-5范围中的一个，增量类型必须下拉选择增量、非增量、全量式增量中的一个。

原始表字段

原始表字段部分分为十一列，字段中文名、字段英文名、字段数据类型、示例数据1、示例数据2、示例数据3、示例数据4、示例数据5、字段备注、人工字段备注和是否为增量字段。

字段数据类型和是否为增量字段为下拉选择，注意一张表里面只能有一个字段为增量字段。

模板上传

进入原始表页面，点击右上角“上传模板”按钮。

在弹出的窗口，上传本地填写好的模板，点击“确定”按钮，对数据源模板进行上传，上传成功后，cona原始表页面有对应数据生成。

在原始表数据源页面就可以看到添加的数据源信息列表。

CONA模板生成工具的使用

模板导出工具的路径：cona安装路径下面的scripts/tools/cona_template_export.sh

模板导出工具支持的数据源：oracle、mysql、hive(hivehdfs)

模板导出工具使用说明：shcona_template_export.sh可以查看脚本参数选项以及说明，参数如下

-da数据源名称(必填),随意起,英文即可

-db 数据源类型(必填)(oracle/jdbc/hivehdfs/externalHive)

-dr数据源Driverclass(jdbc数据源必填)，例：com.mysql.jdbc.Driver，org.postgresql.Driver

-eexcel模板导出路径，此路径须有写入权限

默认路径./template.xlsx

-ke指定kerberos用keytab文件路径(推荐keytab文件绝对路径)

-kr 指定kerberos用krb5文件路径(推荐krb5文件绝对路径)

-ooracle的owner,其他数据源可填库名(必填)

-p密码(选填,不填是null)

-s取样数据量(默认0不取样,但原始表字段sample都是空;数字越大取样越精确,大于等于32767扫全表)

-t模板导出部分表的txt的文件路径(选填)，此路径须有可读权限（若不指定此参数，模板默认导出