江苏龙网

  1. 首页 > 资讯 > 科技 > >

技术编程|数据交换服务组件介绍


数据交换服务组件 ， 在遵循一定的交换策略条件下进行数据交换及消息传递 ， 支持数据资源在不同单位、不同区域的快速交换和共享 ， 提供配置工具生成交换节点 ， 此外在数据传输过程中应保证数据完整性、安全性、可靠性和传输性能 。

技术编程|数据交换服务组件介绍
本文插图

基于统一的数据服务配置出不同的数据交换方式
【技术编程|数据交换服务组件介绍】数据交换服务组件：支持全量、批量、实时的数据交换；支持大数据量的数据交换；支持复杂网络环境下的可靠数据交换；支持跨网段、跨单位的数据交换；支持基于通道、文件的加密传输；支持多种数据接口和传输协议；提供数据交换日志；支持断点续传功能 。
（1）异构、异地的数据交换
提供基于流加工技术的数据交换和共享 ， 在一个服务内实现数据库、文件、JSON、XML、传输队列、适配器等之间的相互交换 。 具有以下交换功能：
支持数据库：Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、Informix、My SQL、FoxPro、Access等；国产数据库：达梦、人大金仓、神州数据库等 。
支持SQL语句作为数据源 。
No SQL的交换：支持与MongoDB的交换 ， 支持与Hive的交换 ， 支持与HBASE的交换 ， 支持与Elastic Search的交换 。
支持文件：文本文件（分隔符、定长等）、Excel文件、DBF文件、MDB文件等 。 分隔符文件要支持组合分隔符 。 能可视化配置文件与异构系统的交换 。
支持XML ，XML可以是文件 ， 也可以是来源消息队列、API、 Web URL等 。 能可视化配置XML与异构系统的交换 。
支持JSON ，JSON可以是文件 ， 也可以是来源消息队列、API、 Web URL等 。 能可视化配置JSON与异构系统的交换 。
提供内存对象映射满足API、传输队列数据抽取 。 可视化定义内存表与异构系统的交换；可视化配置数据采集结果可输出到通道中 ， 实现数据传输服务的绑定 。
跨网段的数据交换能力 。 跨网段是指数据源和数据目标位于不同的网段 ， 每个网段不能访问跨网段的数据库 。 能配置跨网段的数据交换服务；能实现跨网段的实时联动的数据交换；支持CLob字段、blob字段等 。
（2）数据交换过程中的数据加工
数据交换过程中的数据加工 ， 实现如下加工能力：
多种数据转换方法：包括字符串转换、字段赋值、时间类转换、数据比对与翻译、数学运算、身份证格式转换等 。
交换过程中的数据质量检查 ， 根据数据逻辑判断规则 ， 将干净的数据装载到目标中 ， 将判断有问题的数据路由到数据库表或者数据文件中 。
多种逻辑处理 ， 包括：格式匹配检查（如日期格式、数据格式、身份证格式、自定义格式等）、字符串逻辑检查（包含、以结束、以开始、在列表中、等于等）、内容为空检查、重复记录检查、范围内检查（如在列表内、字典或代码表内、包含、等于）、表表外键关联检查、逻辑检查（=、>、>=、
多种路由策略 ， 路由条件可以是逻辑判断 ， 也可以是等于、不等于、小于、小于等于、大于、大于等于、大于且小于、大于等于且小于、大于且小于等于、大于等于且小于等于、规则表达、是空、非空、在列表中、包含、开始为、结束为、为真、为假等方法 。 数据路由也可以是条件的组合 ， 可以是and 也可以是Or 。
（3）保证交换的可靠性、性能、实时性
支持断点续传 。 在数据交换任务运行过程中由于各种不确定原因造成网络中断 ， 网络恢复后重新运行服务后保证数据一致 。
支持实时交换 。 实现通过字符串报文、XML、JSON等格式实时交换数据 。
支持通过分析日志捕捉变化数据的实时交换 。 支持数据库CDC技术,能捕捉指定表的变化数据 ， 增量抽取变化数据 ， 经过转换等处理后按照条件路由到多个数据目标中 。


推荐阅读


上一篇：|最新，华为被曝将进军芯片制造行业，年内打造非美技术生产线

下一篇：雷军|王兴：普通人不清楚苹果有多强！雷军：iPhone真的不怎么求进取