本人大三软件工程专业 毕业想去从事大数据开发方面的工作有没有啥建议( 二 )
搜索引擎:Elasticsearch、Solr
时序数据库:OpenTSDB、InfluxDB
离线计算:MapReduce、Apache Spark(Spark SQL)
数据仓库:Apache Hive
即席查询:Presto
预计算系统:Apache Kylin、Druid
资源管理系统:YARN、Apache Mesos
等等......其实还有很多,这里只是列举了一些常用的(其实是我用过的,没用过的不敢瞎说)
一般来说,中小公司的大数据开发,主要是基于现有开源系统做一些封装和应用(比如做个数据分析平台、做个大屏展示什么的),好一些的可能会做一些改造。而大公司,比如BAT这个级别,会有一些人专门从事开源系统的改造,甚至直接从头撸一套(当然也有和中小公司一样做封装和应用的)。要求嘛:
初级:熟练使用开源组件api + 熟悉Java Web开发(当然也可能是其他语言,比如PHP等)
中级:初级 + 熟悉linux操作 + 熟悉一门脚本语言(Shell、Python、Perl等) + 熟悉你所使用的开源组件的运行原理,可以进行调优、故障诊断等等
中高级:中级 + 基于现有系统进行源码改造,阿里内部这种事做了很多,比如JStorm、HiTSDB等,都是这么来的。
高级:不了解,估计这个层次的大神可以御剑飞行、取人首级于千里之外。
【本人大三软件工程专业 毕业想去从事大数据开发方面的工作有没有啥建议】 所以喽,综上所属,想要学好大数据开发技术,需要学好英语、数学和专业课。
■网友
java基础一定要学好,然后linux,hadoop,mapreducer,hive,hbase,mysql,spark等等
推荐阅读
- 修车|南通华都二车商骗局
- 大三学生准备日本留学过程中要不要准备考研
- 作为软件工程大二的学生,学习一般,编程一般,毕业后能干些啥
- 长寿|同样都是吸烟,为啥日本人能够长寿?医生说出几点不同,值得思考
- 计算机专业大三,应该扎实学好基础专业课,还是该随大流去参加培训机构培训
- 趣头条|人生第二辆座驾,途岳提车记,只买对的不买贵的
- 大三生物工程二本生想跨专业考计算机专业
- 请问一下大家,大学读软件工程应该需要学习哪些东西 ?并且需要掌握哪些知识?
- 怎样看待女生当了程序员穿得越来越随意
- 计算机专业、软件工程专业有读博士的必要吗