博客
关于我
Backprogation
阅读量:542 次
发布时间:2019-03-09

本文共 551 字,大约阅读时间需要 1 分钟。

Backprogation(算梯度下降时会用到)

Backward pass:

反向传播是机器学习中的一个关键概念,它用于计算损失函数对于模型各层的梯度。这一过程是梯度下降算法的基础。

在反向传播过程中,我们从输出层开始,计算损失函数对输出层的导数。然后,这个导数会被传播到前面的层,依此类推,直到计算出损失函数对输入层的导数。这些导数用于更新模型参数,以最小化损失函数。

具体来说,假设我们有一个具有三层的网络,输入层、隐藏层和输出层。损失函数通常是预测值与真实值之间的差异的平方损失。通过反向传播,我们可以得到隐藏层的梯度,进而得到输入层的梯度。

下面是具体的计算步骤:

  • 计算输出层的梯度:从损失函数开始,我们使用链式法则计算输出层的梯度。

  • 传播梯度到隐藏层:使用输出层的梯度,根据权重矩阵反向传播到隐藏层,得到隐藏层的梯度。

  • 计算输入层的梯度:再次使用链式法则,传播梯度到输入层。

  • 这个过程确保了每一层的更新可以正确反映损失函数的变化,从而帮助模型在梯度下降过程中朝着最小损失的方向学习。

    通过以上步骤,我们可以实现损失函数的梯度下降,为后续的训练提供必要的更新方向。

    损失函数的梯度下降是机器学习模型训练的核心步骤之一。通过反向传播,我们能够准确地计算出每个参数的更新规则,从而实现模型的优化。

    转载地址:http://omeiz.baihongyu.com/

    你可能感兴趣的文章
    MySQL 日期时间类型的选择
    查看>>
    Mysql 时间操作(当天,昨天,7天,30天,半年,全年,季度)
    查看>>
    MySQL 是如何加锁的?
    查看>>
    MySQL 是怎样运行的 - InnoDB数据页结构
    查看>>
    mysql 更新子表_mysql 在update中实现子查询的方式
    查看>>
    MySQL 有什么优点?
    查看>>
    mysql 权限整理记录
    查看>>
    mysql 权限登录问题:ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost‘ (using password: YES)
    查看>>
    MYSQL 查看最大连接数和修改最大连接数
    查看>>
    MySQL 查看有哪些表
    查看>>
    mysql 查看锁_阿里/美团/字节面试官必问的Mysql锁机制,你真的明白吗
    查看>>
    MySql 查询以逗号分隔的字符串的方法(正则)
    查看>>
    MySQL 查询优化:提速查询效率的13大秘籍(避免使用SELECT 、分页查询的优化、合理使用连接、子查询的优化)(上)
    查看>>
    mysql 查询,正数降序排序,负数升序排序
    查看>>
    MySQL 树形结构 根据指定节点 获取其下属的所有子节点(包含路径上的枝干节点和叶子节点)...
    查看>>
    mysql 死锁 Deadlock found when trying to get lock; try restarting transaction
    查看>>
    mysql 死锁(先delete 后insert)日志分析
    查看>>
    MySQL 死锁了,怎么办?
    查看>>
    MySQL 深度分页性能急剧下降,该如何优化?
    查看>>
    MySQL 深度分页性能急剧下降,该如何优化?
    查看>>