怎样评价HPCC平台和ECL语言

说HPCC的话不得不先提LexisNexis公司了,LexisNexis 也算一个世界性企业了,业务包括法律和保险等服务,其中LexisNexis 最有代表性的产品就是全美法律数据和个人数据服务。从一九七几年开始尝试做美国的法律数据库服务,也能算最早的几个面临大数据问题的公司之一(据称在google未发表mapreduce的时候,LexisNexis已经开始按这个理念设计解决方案了,当然这里并不是说google未发表论文之前就没有任何maprecude的实现或研究)。
HPCC平台就是LexisNexis自已开发的一套自用处理大数据的解决方案,个人感觉这个解决方案很大的程度上是面向LexisNexis的需求的 : 更注重于查询速度,HPCC是需要时间来写入数据的,这个写入的过程包括数据转换,索引等等。所以你没办法拿HPCC跟Spark,Storm之类注重于实时计算的解决方案比较。HPCC更多的是拿来跟传统数据库比如oracle,或者hadoop比较。就从设计角度来说HPCC是已经索引好的内存驻存数据,查询速度优势是明显的。
再说ECL。HPCC是用C++写的, LexisNexis自己编写了一个C++编译器,用来将ECL编译成为C++。ECL的IDE里面是提供ECL转换成C++的代码的。这个ECL就是面向数据操作的语言,这个语言就已经跟ruby python之类的差不多很方便使用了。因为容错率高,个人觉得这个编译器是HPCC最牛X的产物之一。
HPCC自开源以来还是有不少企业使用。就使用感觉来说还是方便,所有查询可以通过网页解决这个也算亮点之一。
以上个人主观凌驾客观之上,仅供参考讨论。

■网友
主要是美国再用,国内由于开源时间较短,hadoop已经抢占绝大部分市场,现在虽然有意扩展国内市场,但是效果和进度都不理想,目前国内上线的项目也屈指可数,海尔坐席系统、北京的一个做保险风险数据的公司小规模使用,狗东评分系统还没上线,还有就是正在移植律商的全球车联网系统

平台搭建很简单,有个可用的yum,下个对应的rpm,三个节点的测试集群搭建5分钟都用不上,特别适合小微企业构架大数据平台。

【怎样评价HPCC平台和ECL语言】 关于平台在做离线数据处理方面非常牛逼,ECL语言也是很厉害的,包括ECLwatch中能显示job的运行计划及状态,都是hadoop比不了的

其实这个平台最牛逼的还是salt和kel等相关插件,用来做数据特征分析、用户数据拉通、关系网络都是非常的便利的,但是!salt不开源!给钱也不卖!hpcc平台最具有价值的一个插件,只有跟律商合作项目才会评估是否给你用!

整个系统对时时数据处理就比较low了,虽然支持读取很多其他平台数据,但是处理机制是硬伤,所以跟spark一流不具有可比性。不过目前律商的开发团队也正在做相应的功能

■网友
HPCC是LexicNexis公司开发的计算分析平台


    推荐阅读