实验2-3

实验名称：梯度下降法、随机梯度下降法、动量法、Adam的对比实验

一、实验目标

理解梯度下降法（GD）、随机梯度下降法（SGD）、动量法（MSGD）、Adam四个算法的原理及区别，编程实现四个算法解决线性分类问题，对比四个算法的收敛速度、计算效率和分类准确率，通过可视化观察优化过程。

二、线性分类问题描述

考虑机器学习中经典的二分类问题。记第个样本为，在二分类问题中通常令或。当使用线性分类器时，模型关于第个样本的输出为，其中称为分类器的权重，称为偏置，我们希望该输出值与样本的真实类别标签尽量一致，并使用二次函数度量二者之间的差别。具体地，将第个样本的误差记为：