随机森林和logistics回归性能比较。logistics \u003e randomforest ?
谢邀。
这很正常呀。根据No Free Lunch Theoren 定理 ,没有免费的午餐定理,简称NFL定理,由美国斯坦福大学的Wolpert和Macready教授提出。
【随机森林和logistics回归性能比较。logistics \u003e randomforest ?】 在机器学习算法中的体现为在没有实际背景下,没有一种算法比随机胡猜的效果好。
具体到你说的这种情况,在某些场景,逻辑回归很有可能优于随机森林呀
■网友
楼上有提到NFL原理,补充一下我的理解,如果不指定问题背景,没有任何一个算法比其他的更优。从马原的角度讲,“具体问题具体分析”是马克思主义活的灵魂。
简单LR效果优于RF,我觉得有两种可能,一是特征与目标的线性相关关系高。在这种情况下,用LR比起用随机森林(非线性分类器),效果显然是更直观的;
第二种可能,也可以用Occam\u0026#39;s Razor(剃刀原理)来解释,一句话概括剃刀原理:“如无必要,勿增实体”。也就是说在数据量小、且数据复杂度低的情况下,用VC维高的RF模型很容易产生过拟合现象,而用简单的LR模型则相对不会有过拟合现象的产生。
第三种可能,如果以上12均不符合,考虑RF的参数,特别是树的深度,在小数据集上深度(调参经验)最好不要超过log2(num_features)。
最后提一个小建议,如果LR效果很好的话,不妨试下带惩罚的Ridge Regression或Lasso方法,并用grid search做一下惩罚系数alpha的调参。
不排除会比LR的效果更好。
推荐阅读
- 云南省迪庆州“12.28”森林火灾明火全部扑灭
- “蓝剑-2020”跨区域森林火灾联合扑救演练举行
- 青海大通森林警察救助两只野生动物
- |淮阴水政充分利用“双随机”平台 促进执法公平公正
- 天窗|户外爱好者为什么都偏爱它?斯巴鲁森林人仅售22.38万起
- 汽车|森林人在中国火了,这台斯巴鲁傲虎还会远吗?
- 可以通过伪随机生成真实的地球吗
- 数独设计的原理是啥
- 车说小帮手|深受冬季自驾游爱好者喜爱,斯巴鲁森林人具有运动感!
- |阜宁县自然资源和规划局做好森林防火工作