梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

在求θ0的梯度时,θ0是变量,而不是字面上常参数的意思。
所有的θ事实上在这个梯度下降(任何最优化方法)的过程中都应该作为变量,求某个θ的偏导时,别的θ可看做常数。相反X0,X1,X2虽然平时都约定看作变量,而此时由于数据对<X,Y>是已知的,他们现在都应该作为常量帮助对各个θ求导。

更具体一点吧
【梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定】 梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

平方损失函数
梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

确定 梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定
就是在梯度下降法中一次次去迭代
梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定
是学习率, 是已知的,那就是要求 梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定
,把 梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定
以外的都来看成常数
梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

整理后求 梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定
的导数
梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

迭代公式就是
梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定


■网友
和其他参数一样,求梯度逐步求得。每一次训练都要对所有参数求梯度。然后根据梯度大小更新参数梯度越大更新幅度越大,梯度越小更新幅度越小。
■网友
梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定

梯度下降算法中求J(θ)的最小值时,θ0(常数项)的值怎样确定


■网友
先人为给定一个初值,然后迭代更新,直到收敛,此时便确定了

■网友
这个问题暂时没什么理论上的分析……


    推荐阅读