技术编程|图解 DataX 核心设计原理( 二 ) 技术编程

bps 限速：needChannelNumber = 总 byteLimit / 单个 Channel byteLimit
tps 限速：needChannelNumber = 总 recordLimit / 单个 Channel recordLimit
如果以上都没有设置，则会根据用户在 job.setting.speed.channel 配置的并发数量设置 needChannelNumber 。
2）根据 needChannelNumber 将 Job 切分成多个 Task
这个步骤的具体切分逻辑交由相关插件去完成，例如 Rdb 对数据的拆分主要分成两类：
如果用户配置了具体的 Table 数量，那么就按照 Table 为最小单元进行拆分（即一个 Table 对应一个 Task），并生成对应的 querySql；
如果用户还配置了 splitPk ，则会根据 splitPk 进行切分，具体逻辑是根据 splitPk 区间对 Table 进行拆分，并生成对应的 querySql 。
2、公平分配策略
DataX 在执行调度之前，会调用 JobAssignUtil#assignFairly方法对切分好的 Task 公平分配给每个 TaskGroup 。
在分配之前，会计算 TaskGroup 的数量，具体公式：inttaskGroupNumber=(int)Math.ceil(1.0*channelNumber/channelsPerTaskGroup);
channelNumber 即为在切分策略中根据用户配置计算得到的 needChannelNumber 并发数量大小， channelsPerTaskGroup 为每个 TaskGroup 需要的并发数量，默认为 5 。
求出 TaskGroup 的数量之后，就会执行公平分配策略，将 Task 平均分配个每个 TaskGroup ，最后执行调度，完成整个同步作业。举个公平分配策略的例子：
假设 A 库有表 0、1、2 ， B 库上有表 3、4 ， C 库上有表 5、6、7 ，如果此时有 4 个 TaskGroup ，则 assign 后的结果为：taskGroup-0:0,4,taskGroup-1:3,6,taskGroup-2:5,2,taskGroup-3:1,7
举个例子来描述 Job、Task、Task Group 之间的关系：
用户构建了一个数据同步作业，该作业的目的是将 MySql 的 100 张表同步到 Oracle 库中，假设此时用户设置了 20 个并发（即 channelNumber=20）：
DataX 根据表的数量切分成 100 个 Task；
DataX 默认给每个 TaskGroup 分配 5 个 Channel ，因此 taskGroupNumber = channelNumber / channelsPerTaskGroup = 20 / 5 = 4；
根据 DataX 的公平分配策略，会将 100 个 Task 平均分配给每个 TaskGroup ，因此每个 TaskGroup 处理 taskNumber / taskGroupNumber = 100 / 4 = 25 个 Task 。
以上的例子用如下图表示：

文章图片
由于一个 Channel 对应一个线程执行，因此 DataX 的线程模型可以用如下图表示：

文章图片

技术编程|图解 DataX 核心设计原理( 二 )

推荐阅读

『环球科学猫』1000多张合成1张，NASA带你看18亿像素的火星景观，8天时间拍摄

「曼联」曼联开出5000万英镑的报价，以击败切尔西签下桑乔的搭档

火影未解之谜木叶丸他爹木叶丸的爸爸是谁

#Innovation#三星电子，第三款折叠屏生产倒计时，下月开始生产部件

长相一般，但是很会化妆的女生，回家卸妆后，心里会有落差吗

穿搭|硬糖少女花仙子造型曝光，怎么感觉还没有拍摄花絮时真实好看？

怎样让一台电脑，配置2个显示器，具体应该咋去设置

上海市知识产权局网站|法国驻华大使馆知识产权参赞魏玉立（Julie Herve）访问上海市知识产权局

纵相新闻|带血的翡翠与佛像的尘埃，置之死地而后生的缅甸脱贫梦

每天食量巨大咋办

「汉口」中国最“奇怪”的火车站，明明地名已经不存在，却仍执

有哪些找合租室友的好方法

灵动的鱼|屠杀80万汉人，36岁遭报应，全身溃烂而死，他是多尔衮亲兄弟

「一句神回复」难得看他这么用功了，男友最近老去舞蹈室练舞,

径山茶盖碗如何冲泡,径山茶冲泡方式茶艺先容

cue你一下什么意思啊 cue是什么意思

『马洛卡』今日赛事解析：西甲联赛马洛卡主场能否顺利拿下对手？

「睡服百万大菌」除了宅，好好睡觉也是为国做贡献 ‖ 良好睡眠，健康中国

面粉|“这兄弟钓鱼技术真厉害，但是好像一不小心掉到了一个危险动物”哈哈哈！

涉案冰毒84公斤！晋城中院一审宣判5人死刑