Logistic Regression：最基础的神经网络( 二 ) _神经网络

文章插图
【Logistic Regression：最基础的神经网络】
这个方法通俗一点就是，先随机在曲线上找一个点，然后求出该点的斜率，也称为梯度，然后顺着这个梯度的方向往下走一步，到达一个新的点之后，重复以上步骤，直到到达最低点（或达到我们满足的某个条件）。如，对w进行梯度下降，则就是重复一下步骤（重复一次称为一个「迭代」）：
其中:=代表“用后面的值更新”，α代表「学习率（learning rate）」，dJ/dw就是J对w求偏导。
回到我们的Logistic Regression问题，就是要初始化（initializing）一组W和b，并给定一个学习率，指定要「迭代的次数」（就是你想让点往下面走多少步），然后每次迭代中求出w和b的梯度，并更新w和b 。最终的W和b就是我们学习到的W和b，把W和b放进我们的模型中，就是我们学习到的模型，就可以用来进行预测了！
需要注意的是，这里我们使用的损失是全体训练样本的损失。实际上，使用全部样本的损失进行更新的话会太慢，但使用一个样本进行更新，误差就会很大。所以，我们更常用的是选择「一定大小的批次」（batch），然后计算一个batch内的损失，再进行参数更新。
总结一下：