随机森林和logistics回归性能比较。logistics \u003e randomforest ?

谢邀。
这很正常呀。根据No Free Lunch Theoren 定理 ,没有免费的午餐定理,简称NFL定理,由美国斯坦福大学的Wolpert和Macready教授提出。
【随机森林和logistics回归性能比较。logistics \u003e randomforest ?】 在机器学习算法中的体现为在没有实际背景下,没有一种算法比随机胡猜的效果好。
具体到你说的这种情况,在某些场景,逻辑回归很有可能优于随机森林呀


■网友
楼上有提到NFL原理,补充一下我的理解,如果不指定问题背景,没有任何一个算法比其他的更优。从马原的角度讲,“具体问题具体分析”是马克思主义活的灵魂。

简单LR效果优于RF,我觉得有两种可能,一是特征与目标的线性相关关系高。在这种情况下,用LR比起用随机森林(非线性分类器),效果显然是更直观的;
第二种可能,也可以用Occam\u0026#39;s Razor(剃刀原理)来解释,一句话概括剃刀原理:“如无必要,勿增实体”。也就是说在数据量小、且数据复杂度低的情况下,用VC维高的RF模型很容易产生过拟合现象,而用简单的LR模型则相对不会有过拟合现象的产生。
第三种可能,如果以上12均不符合,考虑RF的参数,特别是树的深度,在小数据集上深度(调参经验)最好不要超过log2(num_features)。

最后提一个小建议,如果LR效果很好的话,不妨试下带惩罚的Ridge Regression或Lasso方法,并用grid search做一下惩罚系数alpha的调参。
不排除会比LR的效果更好。


    推荐阅读