DataX部署及迁移操作说明
DataX安装部署
1、 DataX简介
DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
源码地址：https://github.com/alibaba/DataX
2、DataX架构原理
2.1 DataX设计理念
为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
2.2 DataX框架设计
DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。
2.3 DataX调度决策思路
举例来说，用户提交了一个DataX作业，并且配置了总的并发度为20，目的是对一个有100张分表的mysql数据源进行同步。DataX的调度决策思路是：
1）DataX Job根据分库分表切分策略，将同步工作分成100个Task。
2）根据配置的总的并发度20，以及每个Task Group的并发度5，DataX计算共需要分配4个TaskGroup。
3）4个TaskGroup平分100个Task，每一个TaskGroup负责运行25个Task。
3、DataX部署
1）下载DataX安装包并上传到qianyi-ecs的/data
下载地址：https://github.com/alibaba/DataX/tree/master
2）解压datax.tar.gz到/data
[root@qianyi-ecs data]$ tar -zxvf datax_v202309.tar -C /data
3）自检，执行如下命令
[root@qianyi-ecs data]$ python /data/datax/bin/datax.py /data/datax/job/job.json
出现如下内容，则表明安装成功
……
2021-10-12 21:51:12.335 [job-0] INFO JobContainer -
任务启动时刻 : 2021-10-12 21:51:02
任务结束时刻 : 2021-10-12 21:51:12
任务总计耗时 : 10s
任务平均流量 : 253.91KB/s
记录写入速度 : 10000rec/s
读出记录总数 : 100000
读写失败总数 : 04、DataX使用
4.1 DataX使用概述
4.1.1、 DataX任务提交命令
DataX的使用十分简单，用户只需根据自己同步数据的数据源和目的地选择相应的Reader和Writer，并将Reader和Writer的信息配置在一个json文件中，然后执行如下命令提交数据同步任务即可。
[root@qianyi-ecs data]$ python bin/datax.py path/to/your/job.json
4.2.2、 DataX配置文件格式
可以使用如下命名查看DataX配置文件模板。
具体参见：
https://github.com/alibaba/DataX/blob/master/gaussdbreader/doc/gaussdbreader.md
DataX迁移GaussDB(DWS) —> PolarDB-O任务配置及提交
- GaussDB(DWS) —> PolarDB-O任务配置
{
"job": {
"setting": {
"speed": {
"channel": 2
},
"errorLimit": {
"record": 0,
"percentage": 0.02
}
},
"content": [{
"reader": {
"name": "gaussdbreader",
"parameter": {
"username": "alibaba",
"password": "xxxxxxx",
"column": [
'*'
],
"connection": [{
"table": [
"float_type_t10"
],
"jdbcUrl": [
"jdbc:opengauss://10.131.13.3:25308/alibaba"
]
}]
}
},
"writer": {
"name": "postgresqlwriter",
"parameter": {
"username": "admin1",
"password": "xxxxxxxx",
"column": [
'*'
],
"connection": [{
"jdbcUrl": "jdbc:postgresql://10.219.255.13:3433/datax",
"table": [
"float_type_t10"
]
}]
}
}
}]
}
}- 任务提交
python bin/datax.py GaussDb_To_PolarO/job.json_int
nohup python bin/datax.py GaussDb_To_PolarO/job.json_int > log/json_int.log 2>&1 &
nohup python bin/datax.py GaussDb_To_PolarO/job.json_int > log/json_int.log 2>&1 &