DataX
•DataX是离线数据同步工具/平台，可以实现包括MySQL,oracle，SqlServer等多种异构数据源之间高效的数据同步
•也可以实现多种数据库迁移到表格存储
•不影响业务的情况下，数据库迁移，同步到表格存储
文章插图
–数据源读取数据的reader插件
–目标写入数据的是writer插件
–是json格式
•type：数据类型
•value:内容，print默认是flase<为true是打印控制台< span="">
文章插图
•name是不好更改的
文章插图
启动命令
文章插图
【DataX的技术】运行成功命令
文章插图
Mysql导入到hdfs中
mysql数据库中的help_keyword表到hdfs的/datax目录下（此目录必须提前创建好）
•help_keyword是mysql内置的一张字典表
mysqlreader参数解析：
文章插图
•【】参数为可选
hdfswriter参数解析：
文章插图
•Append；写入不做任何处理，dataX hdfswriter直接使用filename写入，并保证文件名不冲突
•nonConfict:如果目录下有fileName前缀文件，直接报错
q启动命令：
Python /opt/sxt/datax/bin/datax.py -r mysqlreader -w hdfswriter
–mysqlreader：要是oracle,就是oraclelreader
推荐阅读
- 什么是DDS？
- 训练拉布拉多的十个技巧 拉布拉多需要训练哪些项目
- 为什么现在的人不喜欢用网线，反而更爱用光纤来传输呢？涨知识了
- 战意帝国时代兵团 战意不同时代的兵团
- 萨摩耶的6大优点 萨摩耶的缺点
- 山姆烤鸡需要加热几分钟 山姆超市的烤鸡保质期
- 桂圆红枣奶茶的做法,桂圆红枣奶茶的做法是什么
- 喝安吉白茶的好处,安吉白茶是不是白茶
- 喝菊苣桅子茶的危害,茶叶重金属超标的危害
- 红茶的保质期,红茶的保质期大概是多久