反向传播：点亮深度学习的火种

目录CONTENTS1.冬夜灵感：反向传播的诞生2.网络骨架：多层前馈与误差回传3.损失函数：模型好坏的标尺4.参数优化：梯度下降全景5.链式倒灌：反向传播算法详解6.正则化：打败过拟合的利器7.梯度消失与爆炸：深度拦路虎8.总结：章节回眸一瞥

冬夜灵感：反向传播的诞生01

1982MIT冬夜：两位科学家的火花01背景介绍1982年，麻省理工学院的一个寒冷冬夜，两位科学家鲁梅尔哈特与辛顿在实验室中进行了讨论。大卫设想了一个三层神经网络，但是苦恼于隐藏层的权重无法调整，在闲聊中杰夫灵光乍现，可以从输出端逆向推导错误来源。02讨论内容他们探讨的核心问题是隐藏层权重如