基本信息

---

下载

文档摘要

---

6.8.6微调输出层在NLP中，大语言模型在大量文本上进行了预训练，然后在各种任务（如语言建模，问答和摘要等）上进行了微调，经过微调的模型在这些任务上取得了最好的性能。具体过程如图6-12所示。流行的语言大模型训练方法是将除了输出层以外的所有权重“冻结”（固定不变）。然后随机初始化输出层参数，再以迁移学习的方式训练，仅更新全连接输出层，其它层的权重不变。常用下述三种方法。应说明的是并不都存在完全隔离的界线。.1.微调刷新分类器/线性层 基于特征的方法如图6-13所示，其中使用带标签的训练集来预训练Transformer模型，然后预训练的Transformer模型保持不变，再进行下