对爬虫抓取的数据进行分析该用MySQL还是mogodb
mongo吧
■网友
数据库选型的依据太多了，比如业务、资金、机房剩余机架位等等。
■网友
数据量才这么点，完全可以存在mysql里。分析时先随机抽出100万条用excel分析，得出基础的结果。而后在根据初步分析的思路，写sql来进行完整数据的统计。觉得sql能做的事儿太少，那就把数据放到hive里，聚合函数能帮你完成复杂统计分析，或者直接码代码。这么少的数据，还是不要在性能上纠结，执行速度差那几分钟都不是事儿。----------------------------------------------------------------------------------------------------------补充一下，我说的聚合函数不是mysql的group by min max之类的，是说hive或者impala里lead() rank()这种的，统计分析基本不需要写代码了。
推荐阅读
- “一部手机读云南”上线力争建成国家方志大数据中心西南中心
- 联合国大数据全球平台中国区域中心在杭州成立
- 银行的数据中心可以跳槽去互联网公司吗
- |大数据赋力 半个多月前拉客的“黑车”精准落网
- python 爬虫，咋获得输入验证码之后的搜索结果
- 数据采集终端|
- 关于用phpfsocket 写Post， 模拟http 报文怎样写入要传输的处理数据
- 假如把中国电信监测到的3亿人一个月每天上网的所有行为打个包，哪些数据应该被提出从这些数据能得到啥
- 运营商收取的流量费用价格是否合理
- 游戏公司一般咋识别游戏脚本