编程技术-【工具】DataX 数据同步工具

简介

DataX 是阿里云 DataWorks数据集成 的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。

Quick Start 【Mysql】

1. 下载https://github.com/alibaba/DataX/releases
2. 查看如下文档https://github.com/alibaba/DataX, 编写Job json：
   

如下所示

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "root",
                        "column": [
                            "*"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "oss_object"
                                ],
                                "jdbcUrl": [
                                     "jdbc:mysql://ip1:3306/ys-oss?useSSL=false"  // 链接1
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "root",
                        "column": [
                            "*"
                        ],
                        "session": [
                        	"set session sql_mode='ANSI'"
                        ],
                        "preSql": [
                            "delete from oss_object_copy1"
                        ],
                        "connection": [
                            {
                                 "jdbc:mysql://ip1:3306/ys-oss?useSSL=false"  // 链接2
                                "table": [
                                    "oss_object_copy1"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

3. 运行datax.py job1.json

2024-03-19 17:01:46.568 [job-0] INFO  JobContainer -
任务启动时刻                    : 2024-03-19 17:00:34
任务结束时刻                    : 2024-03-19 17:01:46
任务总计耗时                    :                 71s
任务平均流量                    :            1.38MB/s
记录写入速度                    :           9958rec/s
读出记录总数                    :              697071
读写失败总数                    :                   0

4. 和navicat比较，navicat直接数据同步时间为3分，datax为71s，有进步就好！