数据巨头纷纷入局大数据领域,这家创业公司却抢先跑出来( 二 )
决心——入局大数据赛道 , 加持PB级数据处理技术
2014年的中国 , 4G刚开始正式商用 , 除了互联网行业的快速发展外 , 伴随着4G时代而来的 , 是大数据技术及应用的腾飞 。 “当时并不是所有领域都有大数据需求 , 真正遇到数据处理瓶颈的行业很少 , 运营商就是其中之一 。 ”在谈及公司成立之初 , 于海中表示 , 运营商让我们向大数据领域迈出了第一步 。
2015年 , 作为某运营商前沿大省 , 原有传统Oracle架构已经处理不了现有的数据规模 , 机缘巧合之下 , 睿帆科技创始团队得到了他们寻求解决方案的信息 。 几乎没有任何犹豫 , 创始团队从北京匆匆南下 , 在宾馆里没日没夜的赶方案 , 跑程序 。 熬了将近两周 , 终于拿出了最初的架构模型 。
除了睿帆科技外 , 还有几家知名企业同样也参与了此次项目的竞争之中 。 “其实当时我们的产品成熟度不是特别高 , 但是我们的架构模型和解决方案得到了运营商的认可 。 ”经过将近一个月的调优测试PK , 睿帆科技拿下了这个项目 。 “这个案例成了我们的标杆案例 , 具有一定的灯塔效应 , 在此之后 , 其他省份的运营商也逐渐产生了需求 , 凭借着技术实力和解决方案 , 我们成功拿下了几个运营商省级分公司的合同 。 ”
在处理运营商海量数据的项目中 , 从TB级数据到PB级数据 , 睿帆科技技术团队逐步看到了数据量级随着通信技术的发展 , 将以几何式增长 , 而当TB级数据处理能力不再满足市场需求时 , PB级数据处理能力就显得尤为重要 。
睿帆科技就这样一步一步 , 通过技术调优和产品迭代 , 成为了国内少数掌握PB级数据处理核心技术的公司 。 “我们之所以对外宣称掌握了4大PB级数据处理核心技术 , 是因为我们的产品每天都在新增超过1PB的环境下提供服务 。 目前 , 某通信运营商大数据共享中心使用我们的零距大数据中台 , 上线集群2000个节点 , 处理日增数据1PB以上 。 换句话说 , 我们的4大PB级数据处理核心技术是真正经过市场验证的 。 ”于海中表示 。
“支持PB级数据处理”指的是支持对PB级以上数据(1PB=1024TB , 1TB=1024GB)进行接入、存储、管理、分析、输出的处理 。
睿帆科技无论是数据的接入、存储、还是管理、分析、输出都有核心的处理技术:
图片
图片来源:受访者供图
●在数据接入输出层面 , 拥有应对PB级数据的多源输入输出适配技术 , 可适配40多种数据源 , 除了常见SQL引擎和NOSQL引擎:Elasticsearch、Teradata、IBM DB、Microsoft SQL、Hive、Oracle、Mysql、MangoDB等 , 还支持多种异构协议访问:HDFS、HTTP、FTP、Socket等 , 另外可以接入文本类、二进制数据、视频、音频等特殊数据源 。
●在数据存储层面 , 拥有应对节点宕机时的负载均衡优化专利技术 。 该专利技术使得整个系统在一个节点宕机的时候能够保证系统负载均衡 , 避免节点的雪崩效应 。
●在数据管理层面 , 拥有应对PB级数据的算力资源优化技术 。 在数据量巨大时可以避免计算过程中引入多余列 , 消耗系统资源 。 该技术可以平均降低内存CPU和IO使用20% , 大大提升计算效率 。
●在数据分析层面 , 拥有PB级数据逻辑验证预处理技术 。 该技术以采样运行方式使得用户无需真正提交任务即可验证任务逻辑 , 避免每次进行海量数据计算耽误开发设计 , 提升整体数据开发效率 。
坚持——加码低代码数据中台 , 看好未来中小型企业市场
睿帆科技首次把“无代码”+“低代码”+“SDK”三级开发模式带入大数据领域 。
相对而言 , “无代码”和“低代码”在国内还是一个比较新的概念 , 其最大优势是用户基于图形化界面 , 通过无需编程或者少量编程配合拖拉拽、参数配置、逻辑规则定义、模板组件调用等方式 , 完成软件应用构建 , 可以把开发效率提升数倍甚至十数倍以上 。
推荐阅读
- 人群中国科学家通过古人基因组数据探寻中国文明源流
- 厦门名记|背靠小米、华为,中国巨头喜提全球第一,靠卖芯片年赚23亿
- 联想|联想个人云存储Mac版上线 苹果电脑用户数据备份更便捷
- 信息史上最全SpaceX火箭数据开源,核心、组员舱、起落架、发射信息全都有!
- 互联网乱侃先生|国产机们不用再看高通脸色?超级芯片巨头入场,GPU比高通强很多
- 云创|真旺(徐州)大数据总经理李华领一行到访云创
- 主题马蜂窝大数据:大人小孩一起过“六一”,主题公园最受欢迎
- |6大数据可视化应用设计规范
- 链上|链上数据5月扫描:10000美元阻力下的链上百态
- 跳动这是今日头条进军电商的前兆,他能成为新巨头吗?