基本信息

---

下载

文档摘要

---

;;语言模型是自然语言处理领域的基础任务和核心问题，其目标是对自然语言的概率分布建模。大量的研究从n元语言模型、神经语言模型以及预训练语言模型等不同角度开展了一系列工作，这些研究

在不同阶段对自然语言处理任务有重要作用。随

着基于谷歌Transformer的各类语言模型的发展，

以及预训练微调范式在自然语言处理各类任

务中取得突破性进展，从OpenAI发布GPT-3开始，

对大语言模型的研究逐渐深入。

图2-1循环神经网络（RNN）语言模型示例;虽然大模型的参数量巨大，通过有监督微调和强化学习能够完成非常多的任务，但其基础理论仍然离不开对语言的建模。此外，作为一