数据上传(DataX)FAQ

数据上传问题:
1、如果在导入数据的过程中,出现断电什么的意外情况,有什么防范措施么?
答案:如果有断网,datax有重试的。但如果是断电,就没办法了,只能重新运行。

2、DATAX能把ODPS的数据反向导入到本地MYSQL吗?
答案:是可以的,配置odpsreader、mysqlwriter就可以了

3、表列数有限制吗?
答案:没有

4、流量控制的最佳实践是什么?
答案:datax可以设置为限速和不限速。可以根据你的库的使用情况做限速,如果你的库的负载比较低,可以关闭限速。具体在json文件中设置speed/byte就可以完成限速。

5、企业专网进行定期数据同步到公有云,并自动调整带宽,并行同步,如何设置?
答案:是用开源的datax,没有定时运行功能,只能自己写crontab来。

6、jdk 1.7 64位的还是32位的呢
答案:都可以,要看你的机器了

7、跟CDP有什么区别?
答案:CDP是一个云服务,提供了配置界面、定时调度、监控告警、分布式运行等功能。datax只是一个工具,用户可以在此工具上完成业务的封装。

8、csv上传有限制文件大小吗?
答案:没有上传限制

9、支持单表的数据增量同步吗?
答案:datax目前支持where条件的增量。如果你的表里面有时间戳就可以完成增量。读取binlog、或者oracle的redolog增量读取,目前没有。

10、是不是只要能连接到外网的机器就可以用DATAX上传数据到ODPS
答案:是的

11、DATAX 一次导入多张表,可以吗?
答案:如果是分库分表,每一个表的表结构都是一样的可以导入多个表。但是如果表结构不一样,就得配置多个datax任务了

12、如果文件在HDFS上,同时有很多,DataX能支持吗
答案:HDFS可以支持文件路径的通配符,但前提是hdfs这些数据的表结构都是一样的

13、datax 与 odps command里面的tunnel upload命令 ,你们推荐用哪个?
答案:都可以完成文件数据的上传。datax的功能更全一些,支持的数据源和目的端更多。

14、datax我可以扩展reader和writer吗
答案:datax是开源的,欢迎贡献代码。