江苏龙网

  1. 主页 > 生活百科 > >

头发稀疏如何改善 稀疏编码( 二 )



由于L1范数的自然性质，L1优化的解是稀疏解，所以L1范数也被称为稀疏规则算子 。通过L1，可以稀疏要素，并且可以移除一些没有信息的要素 。比如对用户的电影爱好进行分类时，用户有100个特征，可能只有十几个特征对分类有用 。大部分特征比如身高体重可能没用，可以用L1范数过滤掉 。
4.L2规范L2规范是我们最常见的规范 。我们使用最多的欧几里德距离是一种L2范数 。其定义如下:

表示矢量元素的平方和以及重新平方 。像L1范数一样，L2也可以度量两个向量之间的差，比如平方差之和:

对于L2范数，其优化问题如下:

L2范数通常作为优化目标函数的正则项，可以避免模型过于复杂而不符合训练集，从而提高模型的泛化能力 。
5.L∞范数当p=∞时，是L∞范数，主要用来度量向量元素的最大值 。与L0一样，它通常表示为

以上内容转载于SethChai的博客，再次感谢博主的分享，转载请附上原文链接： https://blog.csdn.net/a493823882/article/details/80569888
在使用机器学习方法解决实际问题时，我们通常使用L1或L2范数进行正则化，以限制权重，降低过拟合的风险 。尤其是当梯度下降用于优化目标函数时，
L1和L2的区别L1范数(L1范数)是一个向量中每个元素的绝对值之和，也被称为“套索正则化” 。例如，如果向量A=[1，-1，3]，那么A的L1范数是|1|+|-1|+|3| 。
总结一下:L1范数:X向量各元素的绝对值之和 。L2范数:X向量各元素平方和的1/2次方，L2范数也叫欧几里德范数或弗罗贝纽斯范数Lp范数:X向量各元素绝对值之和的1/p次方 。
L1正则化产生稀疏权重，而L2正则化产生平滑权重 。为什么会这样呢？在支持向量机的学习过程中，L1范数实际上是一个求解代价函数的优化过程 。因此，L1范数正则化在代价函数中加入了L1范数，使得学习结果稀疏，从而有利于特征提取 。L1范数可以使权值稀疏，便于特征提取 。L2范数可以防止过拟合，提高模型的泛化能力 。L1和L2典型先验分别服从什么分布？L1和L2典型先验分别服从什么分布？L1是拉普拉斯分布，L2是高斯分布 。


推荐阅读


上一篇：2021年经济运行分析 经济运行分析

下一篇：质数合数表100以内 质数合数