第7章

大模型技术与应用;CONTENTS;7.1??大模型概述

7.1.1?大模型的特点

（1）模型的规模巨大。一方面，大模型的参数数量巨大，达到数十亿甚至数万亿的参数。例如，GPT-3模型拥有1750亿个参数，DeepSeek-R1模型有6710亿个参数。另一方面，训练数据的规模巨大。

（2）模型的泛化能力强。跨领域的训练方式使得大模型具有很强的泛化能力，即它们可以处理新的、未见过的任务。;7.1.1?大模型的特点

（3）模型采用预训练加微调的学习方法。首先是利用大规模的无监督数据来预训练模型，使其学习到语言的通用知识。这样，模型就能够理解语言的基本结构和语义信息；接下来，在微调阶段，