本人大三软件工程专业 毕业想去从事大数据开发方面的工作有没有啥建议( 二 )


搜索引擎:Elasticsearch、Solr
时序数据库:OpenTSDB、InfluxDB
离线计算:MapReduce、Apache Spark(Spark SQL)
数据仓库:Apache Hive
即席查询:Presto
预计算系统:Apache Kylin、Druid
资源管理系统:YARN、Apache Mesos
等等......其实还有很多,这里只是列举了一些常用的(其实是我用过的,没用过的不敢瞎说)
一般来说,中小公司的大数据开发,主要是基于现有开源系统做一些封装和应用(比如做个数据分析平台、做个大屏展示什么的),好一些的可能会做一些改造。而大公司,比如BAT这个级别,会有一些人专门从事开源系统的改造,甚至直接从头撸一套(当然也有和中小公司一样做封装和应用的)。要求嘛:
初级:熟练使用开源组件api + 熟悉Java Web开发(当然也可能是其他语言,比如PHP等)
中级:初级 + 熟悉linux操作 + 熟悉一门脚本语言(Shell、Python、Perl等) + 熟悉你所使用的开源组件的运行原理,可以进行调优、故障诊断等等
中高级:中级 + 基于现有系统进行源码改造,阿里内部这种事做了很多,比如JStorm、HiTSDB等,都是这么来的。
高级:不了解,估计这个层次的大神可以御剑飞行、取人首级于千里之外。
【本人大三软件工程专业 毕业想去从事大数据开发方面的工作有没有啥建议】 所以喽,综上所属,想要学好大数据开发技术,需要学好英语、数学和专业课。

■网友
java基础一定要学好,然后linux,hadoop,mapreducer,hive,hbase,mysql,spark等等


推荐阅读