编写机器学习的训练程序时,怎样处理10万个以上的样本?
有个Online Passive Learning适合高维的训练。Online的训练是流处理,每次处理一个,对内存要求很低
■网友
32位的Windows程序可用内存默认情况下为2G,实际可用堆空间最大约1.9G左右。1.25G的数据如果你的程序没有其他地方大量使用内存是可以读进去的。可以分段读取文件,用一段读一段。不要一次性全部载入内存。如果觉得硬盘IO速度慢,可以使用内存文件映射。将整个文件放入内存,需要用哪一段就将这部分映射到程序的地址空间中。总之,对于大型数据处理的话,最好是组织好数据,然后分段读取。或者干脆换64位系统,多装几条内存。
■网友
《Matlab N个使用技巧》这本书的第12页有很多内存的优化配置,题主可以试试。
推荐阅读
- 现在在线学习视频有很多了,为啥大部分人还是喜欢下载下来观看
- 婴儿|美国儿科学会: 1岁以下婴儿不推荐学习游泳
- 电话营销机器人哪个比较好用
- 在美国大学学习computer science 是啥样的体验
- 请问有哪些机器人大赛是比较权威的
- 作为软件工程大二的学生,学习一般,编程一般,毕业后能干些啥
- 计算机深度学习方面sci三区期刊推荐
- 零基础入门学习啥语言好
- 不懂技术,不会编写程序的人当项目经理,管项目,管人,行吗
- 有哪些好的学习英文的视频网站