本文共 551 字，大约阅读时间需要 1 分钟。
Backprogation(算梯度下降时会用到)
Backward pass：
反向传播是机器学习中的一个关键概念，它用于计算损失函数对于模型各层的梯度。这一过程是梯度下降算法的基础。
在反向传播过程中，我们从输出层开始，计算损失函数对输出层的导数。然后，这个导数会被传播到前面的层，依此类推，直到计算出损失函数对输入层的导数。这些导数用于更新模型参数，以最小化损失函数。
具体来说，假设我们有一个具有三层的网络，输入层、隐藏层和输出层。损失函数通常是预测值与真实值之间的差异的平方损失。通过反向传播，我们可以得到隐藏层的梯度，进而得到输入层的梯度。
下面是具体的计算步骤：
计算输出层的梯度：从损失函数开始，我们使用链式法则计算输出层的梯度。
传播梯度到隐藏层：使用输出层的梯度，根据权重矩阵反向传播到隐藏层，得到隐藏层的梯度。
计算输入层的梯度：再次使用链式法则，传播梯度到输入层。
这个过程确保了每一层的更新可以正确反映损失函数的变化，从而帮助模型在梯度下降过程中朝着最小损失的方向学习。
通过以上步骤，我们可以实现损失函数的梯度下降，为后续的训练提供必要的更新方向。
损失函数的梯度下降是机器学习模型训练的核心步骤之一。通过反向传播，我们能够准确地计算出每个参数的更新规则，从而实现模型的优化。
转载地址：http://omeiz.baihongyu.com/