定义|反向传播算法:定义,概念,可视化( 三 )


这将存储计算值:
grad_table[u_n] = 1
这将最后一个节点设置为1。
forj=n-1to1
grad_table[u_j] =\\sumgrad_table[u_i]du_i/du_j
理论上是这样的:
return grad_table
反向传播算法只访问每个节点一次来计算偏置,这避免了不必要的重新计算子表达式的步骤。请记住,这是以更多内存占用为代价的。
作者:Tojo Batsuuri
deephub翻译组:孟翔杰


推荐阅读