江苏龙网

  1. 首页 > 生活 > >

搞大数据必须得学java吗( 二 )


最后，虽然学习大数据并不一定要学习Java语言，但是由于Java语言在生产环境下有很多应用，而且Java开发岗位往往对于从业者的要求并不高，所以如果学历比较低，同时想增强自身的岗位竞争力，学习一下Java是不错的选择。
我从事互联网行业多年，目前也在带计算机专业的研究生，主要的研究方向集中在大数据和人工智能领域，我会陆续写一些关于互联网技术方面的文章，感兴趣的朋友可以关注我，相信一定会有所收获。
如果有互联网、大数据、人工智能等方面的问题，或者是考研方面的问题，都可以在评论区留言，或者私信我！


■网友
Storm, Spark, Hadoop三个大数据处理工具都是JVM上的语言写成的，最好是 python java 都学，可以再加个 R 语言 附属技能
■网友
回答这个问题我们必须了解下大数据发展史，了解下大数据的技术栈。
一、大数据技术产生史首先看一下我们要介绍的大数据技术栈包含什么：
Hadoop; MapReduce; NoSQL; Spark; Flink; Hive....
这个都属于大数据的技术栈，初看起来，杂乱无章。对于初学者更甚，无从下手，更不知道哪些是重点，哪些是辅助技术。
所以，我们先把这些技术的产生搞清楚，以及他们能应用什么场景。这样你就做到心里有数。
起源于Google
大家都知道最早搜索引擎是Google.其功能是提供互联网用户的信息的检索功能。那搜索引擎具体都干了哪些事呢？
其实很简单的两件事：
一是数据采集，也就是网页的爬取；
二是数据搜索，也就是索引的构建；
数据采集离不开存储，索引的构建也需要大量计算，所以存储容器和计算能力贯穿搜索引擎的整个更迭过程。
在2004年前后，Google发表了三篇重要的论文，俗称“三驾马车”：
在互联网早期，互联网产品用户规模都不是很大，很少的人会关注分布式解决方案，都在单体机器上寻找解决方案，也就是在硬件上下功夫；
而Google在当时的互联网界，不管是用户规模还是所产生数据量都是TOP级别的。所以，对分布式和集群等方式，解决存储方式研究较早，同时也采用横向拓展的思路，去研发系统。
Hadoop的产生
最早关注 Google 大数据论文的是一个程序员，也不陌生，Lucene项目的创始人 Doug Cutting。他看到论文后，颇为激动，程序员，动手能力当然很强，很快就依据论文的原理实现了类似 GFS 和 MapReduce的功能框架。注意是类似哦。
到了2006年，DC 开发的类似MapReduce功能的大数据技术，被独立出来，单独开发运维。这个也就是不就后被命名为 Hadoop 的产品。 该体系里面包含，大家熟知的分布式文件系统 HDFS 以及大数据计算引擎 MapReduce。
Yahoo 优化改编
当 Hadoop 发布之后，另一个当时的搜素引擎巨头 Yahoo 很快就使用了起来；
到了2007年，国内的百度也开始使用了 Hadoop 进行大数据存储与计算了。
又过了一年，2008年，Hadoop 正式成为 Apache 的顶级项目，自此，Hadoop 彻底火了起来，也被更多的人熟知。
当然任何系统都不可能是完美的，也不可能是通用的，并非适用于每个公司。 Yahho 使用了 MapReduce 进行大数据计算时，觉得开发太繁琐，于是他们自己便开发了一个新的系统--Pig。
Pig是一个基于 Hadoop 类 SQL 语句的脚本语言。经过编译后，直接生成 MapReduce 程序，在 Hadoop系统上运行。所以 Yahho 也是在Hadoop 基础上进行了 编程上的优化使用。
Facebook 的数据分析 Hive
Yahho 的 Pig 是一种类似于 SQL 语句的脚本语言，相比于直接编写 MapReduce 简单许多。但是使用者还是要学习这种新的脚本语言。
又一家巨头公司出现了 Facebook 为了数据分析也开发一种新的分析工具，叫做 Hive 的东西，hHive 能直接使用SQL语句进行大数据计算，这样，只要是具有数据库关系型语言的开发人员就能直接使用大数据平台。大大的降低了使用的门槛，又将大数据技术推进了一步。


推荐阅读


上一篇：谁能说清程序员的职位分类

下一篇：软件测试是不是真的竞争力差