大数据的必须需要人工来进行挖掘吗为啥。 大数据挖掘过程中的无效数据是怎么样处理的
谢邀！你这个问题问得妙！其实我也很困扰，大数据的的下一阶段是什么？我的理解是AI，人工智能啦。人工智能怎么体现呢？时下很火很多的自动驾驶应该算吧？就是让机器来代替人工。这个逻辑是什么？数据→挖掘→应用→人工智能。而你的问题反过来，既然数据挖掘是为了实现让机器代替人工，那为什么数据挖掘不能让机器来代替人工呢？为什么还需要大量的人力呢？我个人认为，这应该是人工智能的起始阶段，未来，也许能够实现数据挖掘靠机器，然后最终实现机器代替人工，我猜的。希望人类能够一直掌握人工智能的命门，霍金等前辈的劝告不能一点都不考虑。
■网友
谢邀。简单来说，是的，目前大数据价值挖掘的过程仍然需要大量的人为干预。掰开来看，数据价值挖掘的整个链条包括：数据采集-数据清洗-数据加工-数据/算法建模-数据消费（报表，多维分析，数据探索，数据挖掘，人工智能都可以粗暴算在数据消费这个环节里）。用比较好理解的概念来对照，就是一个买菜-洗菜-配菜-炒菜-吃菜的全过程。而在这些阶段里，目前仅仅是买菜这个起点和吃菜这个终点两个环节相对智能化或者说自动化一点。中间的洗菜，配菜，炒菜等环节，由于上游数据源（菜）的标准化程度很差，数据质量参差不齐，而下游吃菜人的个性化太强，需求五花八门，所以需要大量的人工干预来预先清洗数据和加工数据。这部分工作也就是对应专业领域里最苦逼但也是最有技术含量的ETL和数据建模。这部分工作什么时候能变得智能化，说实话，我暂时看不清楚，个人目前正带领团队在做一些让洗菜，配菜，炒菜更自动化更智能化的研究和实践工作，等有了一些成果再来汇报吧。至于无效数据，不知道楼主指的具体是哪类数据。如果是完全没有意义的数据（完全烂掉的菜），那在洗菜环节就会被处理掉，免得浪费存储和计算资源，还会影响后面价值挖掘的准确性。如果是说没有价值的数据，那严格来说，只要是有意义的数据都是有价值的，对这个业务场景没有价值可能对其他场景有价值（就好比能吃但是现在不想吃的菜）。所以这部分数据，只要成本能接受，都是会洗好，配好，存好的，或者说只要冷库需够大，都会先放里面存着，等到想吃的时候再拿。
■网友
谢邀，智能算法可以处理大部分的数据，但最终还是要人去整理，有人工的必要
【大数据的必须需要人工来进行挖掘吗为啥。 大数据挖掘过程中的无效数据是怎么样处理的】 涉及到数据仓库，数据处理那些，还是等技术大牛回答吧
推荐阅读
- 居家养花不需要太多，养这3款多肉，不仅颜值高，而且可镇宅招财
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 联合国大数据全球平台中国区域中心在杭州成立
- 招聘都要学历，何来程序员不看学历
- 银行的数据中心可以跳槽去互联网公司吗
- 旅行|需要准备哪些物品？全面冬季出游清单，建议收藏带宝宝出门旅行
- 侧重业务逻辑的产品需求规格说明书，需要有哪些要点
- 暖！援鄂医生将蒙古捐赠羊肉转赠病人：他们更需要补身体
- |大数据赋力 半个多月前拉客的“黑车”精准落网
- 数据采集终端|