基本信息

---

下载

文档摘要

---

目录

1.历史

1.1顿悟的发现

2.相关基础知识

2.1神经网络的记忆（Memorization）与泛化（Generalization）

2.2神经网络中的涌现（EmergentAbilities）

2.3早停机制（EarlyStop）

3.顿悟的场景

3.1模运算

3.2其他算法任务

3.3非算法任务

3.4大语言模型

4.顿悟现象的可解释性分析

4.1结构化表征

4.2时钟和披萨算法

4.3控制权之争

4.4参数空间

4.5特征学习

5.促进顿悟的方法

5.1权重范数

5.2慢梯度增强(SlowGradientAmplification)

5.3