spark on hive 优化?
我来抛砖引玉一下吧。首先，我们要搞清楚瓶颈在哪里，内存还是CPU。通常来说，如果是机器学习之类的应用，瓶颈一般在CPU，如果是ETL，瓶颈在I/O的可能性要大一点。如何定量的判断瓶颈在哪里呢，Spark的web UI提供了很多信息，比如内存占用率等等，另外我们使用的spark一般都是某个厂商提供的发行版的一部分，比如Cloudera，MapR等等，这些发行版会提供很详细的IO指标。可以帮助你确认是否有I/O瓶颈。解决I/O瓶颈的方法有很多，常见的避免使用groupByKey，用reduceByKey 或者combineByKey代替用Kryo序列化代替java自己的序列化参考这里 https://spark.apache.org/docs/1.3.1/tuning.html另外推荐你升级到spark 1.3以上版本，用dataframe代替RDD，根据benchmark，dataframe可以带来很大的性能提升（因为spark的DF优化器可以利用data source的Schema对execution plan的优化，大大减少I/O需求）。参考这里 http://www.slideshare.net/databricks/introducing-dataframes-in-spark-for-large-scale-data-science。
■网友
用impala吧
■网友
对于千万级别的第二类查询，spark sql 20-50s的response time感觉比较正常啊。至于许多第二类查询导致系统变慢的问题：（1） 如果是cpu瓶颈，可以通过增加# nodes，同时为相应spark app配置更多executors，以及增加每个executor的core数量； （2） 如果瓶颈在I/O, 最好上SSD； 感觉还可以为spark 配置Tachyon； 或者如果数据是静态的，完全可以直接cache table.
推荐阅读
![[整机质量部]整机质量部四月份优秀员工-王奉军](https://imgcdn.toutiaoyule.com/20200502/20200502120602179272a_t.jpeg)
- |徐州市出台《关于优化创新创业生态系统 提升区域科技创新活力的实施意见》及实施细则
- 汽车|多项功能进行优化 吉利星瑞推出第二次FOTA升级
- 营销型外贸网站用哪种建站程序和语言比较好呢主要是适合优化，可扩展兼容性，安全性，后期网站扩展升级
- 车影聚力|全新领克01正式上市，17.98万元起，内饰优化大动力是亮点
- 营商环境|“放管服”改革走向纵深 无锡3.0版营商环境优化提档迎“国考”
- 趣头条|内饰精致时尚 外观优化升级 Jeep新款指南者正式下线
- Model确定之后，在Train和Deploy阶段， Caffe有哪些地方可以进一步优化以提高速度
- 双重for循环怎样优化效率
- 微商咋做推广
- |《江苏省优化营商环境条例》来了