简单网络的反向传播代码这么写就对了：分解步骤+完整实现( 二 ) _反向传播

6.3 BP四个基本方程之：中间层神经元误差

文章插图

derivativeHidden = derivative_sigmoid(hiddenActivation)derivativeHidden.shapedeltaHidden = np.dot(deltaOutput, weightsHiddenOutput.T) * derivativeHiddendeltaHidden.shapedeltaHidden

6.4 BP四个基本方程之：权重和偏置的更新

文章插图

# Learning ratelr = 0.01weightsHiddenOutput -= np.dot(hiddenActivation.T, deltaOutput) * lr# 3xN x Nx1 = 3x1weightsInputHidden -= np.dot(X.T, deltaHidden) * lr# 4xN x Nx3 = 4x3biasOutput -= np.sum(deltaOutput, axis=0) * lrbiasHidden -= np.sum(deltaHidden, axis=0) * lr

注意：上面注意维度的匹配！网络本身的参数维度和样本数均无关，比如权重和偏置的维度，都不可能与样本数有关系！这是检验我们有没有做对的一个很有用的标准。