机器学习之Overfitting和Underfitting
什么是overfitting和underfitting?
Overfitting是指模型在训练数据集上的表现比测试数据集上的表现好 。
Underfitting与overfitting相反 , 是指模型在测试数据集上的表现比训练数据集上的好 。
下图中横轴表示训练时间 , 纵轴表示error , 蓝色线条表示训练集 , 红色线条表示测试集 , 随着训练时间增加训练集上error逐渐降低 , 而测试集上一开始降低 , 到了一个点以后反而开始升高 , 这时模型开始overfitting 。 反过来就是underfitting 。
文章插图
无论overfitting还是underfitting , 都不是好的模型 , 都不能对真实世界的数据做出正确的预测 。
什么情况会导致overfitting和underfitting呢?
【机器学习之Overfitting和Underfitting】模型太过复杂往往会导致overfitting , 就如下面右图中显示的 , 模型过度拟合数据 , 导致模型太过复杂 , 不能真实反映实际情况 。
模型太过简单又会导致模型不能很好的学习数据结构 , 导致underfitting 。 如下面左图 。
中间的模型很好的反映了数据的真实走势 , 是一个好的模型 。
文章插图
避免overfitting的方法:
- 通过简化模型 , 比如减少模型参数;
- 增加训练数据集;
- 减少训练数据噪音 , 比如去除outlier 。
- 选择更复杂的模型;
- 筛选更好的数据特征来训练模型 。
推荐阅读
- 唐山四维智能科技有限公司:双臂机器人引领人机协作新纪元
- 大众展示EV公共充电新解决方案:移动充电机器人
- 普渡机器人获最佳商用服务机器人奖
- 翻译|机器翻译能达60个语种3000个方向,近日又夺全球五冠,这家牛企是谁?
- Google AI建立了一个能够分析烘焙食谱的机器学习模型
- 我国首次给四个新职业定标
- Clearbot:一款能自动在水上追踪收集垃圾的机器人
- 机器人|万州区举办“中国梦科技梦”机器人编程大赛
- “女性机器人”为啥火?外表颜值高、功能强,内部结构也一清二楚
- “机器人妻子”上市遭抢购,是在解决刚需,还是在挑战伦理?