数据同步

SeaTunnel同步计算

https://www.toutiao.com/article/7166224702132863527

https://github.com/apache/incubator-seatunnel

MySQL

阿里云RDS MySQL 8Core 32G

HDFS

CPU：Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHz

Memory：32G

节点数：3

NameNode -Xmx4G

DataNode -Xmx16G

测试数据

列数：31

行数：32226320 （3000万条）

大小：数据写入HDFS（text格式）大小为18G

我们在Mysql中创建了一张包含了31个字段的表，主键选择递增的id，其他所有字段采用随机的方式生成，除了主键外均不设置索引。

DataX

https://blog.csdn.net/m0_61607827/article/details/123447903

DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。

DataX设计理念
DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

kettle

http://www.kettle.org.cn/

http://www.kettleonline.com/

datapipeline

https://www.datapipeline.com/productDetail/product