“双十一”流量大考过关流计算功不可没如何扛住流量“洪峰”

　　如何扛住流量“洪峰” ，是每年“双十一”的技术大考。随着流量的飙升，这一大考无疑变得越来越难。

　　“双十一”刚过，各大电商纷纷公布当日战绩。从目前公布的数据不难看出，今年“双十一”的订单建立量峰值创下新高，单日数据处理量纪录也再次被刷新。

　　“双十一”的数据量不仅大，还会即时变化。可以说，每个购物数据都是个性化的、动态的，完成处理它们的工作，需要有强大的计算能力作为支撑。

　　“今年的数据处理工作，除了批处理(对数据进行批量处理)外，还有流处理，就是即时处理数据。庞大的交易数据每分钟、每秒钟都在变，它们并不是从资料库里面统计出来的，而是系统自动一层层把它们汇集上来的。 ”阿里巴巴集团首席技术官张建锋表示。他口中的“流处理”就是流计算，即即时计算。对於扛住“双十一”流量“洪峰” ，它功不可没。

　　那麽，什麽是流计算？它是如何抗住“双十一”流量“洪峰”的？对此，科技日报记者采访了业内专家。

　　以记忆体取代硬碟实现快速处理

　　北京理工大学计算机学院副院长、教授刘驰在接受科技日报记者采访时解释道，流计算指当一条数据被处理完後，立刻被序列化到记忆体中，然後通过网路传输到下一个节点，由下一个节点继续处理。 “这种流式处理技术，是以记忆体取代硬碟的方式来实现数据快速处理，这是流计算之所以能够高效处理数据的根本原因。 ”他表示。

　　据刘驰介绍，流计算具有高性能、海量式、即时性、分布式、易用性、可靠性等多项优势，主要的应用方向有，对金融与科学计算中的数据进行快速运算和分析；对存在於社交网站、电子邮件、视频、电话记录、电子感应器中的数字格式资讯流进行快速处理并反馈等。

　　“流式处理可被用於两种不同的计算场景：事件流和持续计算。 ”刘驰介绍道，在事件流场景，系统会持续产生大量的数据，这类数据最早出现在银行和股票交易领域，也会在互联网监控、无线通信等领域出现。这些领域的相关业务，需要流计算技术以近乎即时的方式对数据流进行复杂分析。

　　“而在持续计算场景，比如大型网站，流计算技术可以动态即时地刷新用户访问数据，展示网站即时流量的变化情况，分析每天各小时的流量和用户分布情况。一些需要即时处理数据的场景也能应用到流计算技术，比如对根据用户行为产生的日志档案进行即时分析，对用户进行商品的即时推荐等。 ”刘驰介绍道。