datax插件开发指南新.doc

Linux公社（ HYPERLINK / LinuxIDC.com）于2006年9月25日注册并开通网站，Linux现在已经成为一种广受关注和支持的一种操作系统，IDC是互联网数据中心，LinuxIDC就是关于Linux的数据中心。 HYPERLINK / LinuxIDC.com提供包括Ubuntu，Fedora，SUSE技术，以及最新IT资讯等Linux专业类网站。 DataX插件开发指南  版本号 修改内容 修改日期 修改人 V0.1 创建 2011-09-08 何健超 目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc303275627 一、 概述 PAGEREF _Toc303275627 \h 4 HYPERLINK \l _Toc303275628 二、 Reader插件开发（以httpreader为例） PAGEREF _Toc303275628 \h 5 HYPERLINK \l _Toc303275629 1、 确定插件所需配置的参数 PAGEREF _Toc303275629 \h 5 HYPERLINK \l _Toc303275630 2、 构建相应包和类结构 PAGEREF _Toc303275630 \h 5 HYPERLINK \l _Toc303275631 3、 实现重载方法 PAGEREF _Toc303275631 \h 7 HYPERLINK \l _Toc303275632 4、 自定义split方法 PAGEREF _Toc303275632 \h 10 HYPERLINK \l _Toc303275633 三、 Writer插件开发（以streamwriter为例） PAGEREF _Toc303275633 \h 13 HYPERLINK \l _Toc303275634 1、 确定插件参数、构建相应包和类结构 PAGEREF _Toc303275634 \h 13 HYPERLINK \l _Toc303275635 2、 实现重载方法 PAGEREF _Toc303275635 \h 14 HYPERLINK \l _Toc303275636 四、 插件运行配置（以httpreader为例） PAGEREF _Toc303275636 \h 16 HYPERLINK \l _Toc303275637 1、 注册插件 PAGEREF _Toc303275637 \h 16 HYPERLINK \l _Toc303275638 2、 修改build.xml文件，打包 PAGEREF _Toc303275638 \h 16  概述 DataX是一个在不同类型的数据库(文件系统)之间交换数据的工具，采用“框架+插件”的结构，框架相当于一个数据中转平台，而插件则为访问不同类型的数据库(文件系统)提供实现。 DataX插件分为Reader和Writer两类。Reader负责从数据源端读取数据到Storage(交换空间)，Writer负责将Storage中的数据写入到数据目的端。Storage可以适配不同种类的Reader和Writer，从而实现数据同步。目前DataX版本已经提供的Reader插件如下： hdfsreader : 支持从hdfs文件系统获取数据。 mysqlreader: 支持从mysql数据库获取数据。 sqlserverreader: 支持从sqlserver数据库获取数据。 oraclereader : 支持从oracle数据库获取数据。 streamreader: 支持从stream流获取数据（常用于测试） httpreader : 支持从http URL获取数据。 提供的Writer插件如下： hdfswriter ：支持向hdbf写入数据。 mysqlwriter ：支持向mysql写入数据。 sqlserverwriter：支持向sqlserver写入数据。 oraclewriter ：支持向oracle写入数据。 streamwriter ：支持向stream流写入数据。（常用于测试） 用户可以根据需要开发自己的Reader Writer插件。现在以HttpReader 和StreamWriter插件为例，使用eclipse分别说明Reader和Writer插件开发过程。  Reader插件开发（以httpreader为例） 确定插件所需配置的参数 确定插件参数，并在common.plugin.ParamsKey.java中，创建静态类HttpReader，尤其注意对参数的注释尽量参照源码规范，DataX运行时，会根据此处声明的参数和注释生成对应的模板Job_