第8章大模型的优化

01大模型优化方法

02模型压缩与剪枝

03知识蒸馏与模型加速

04项目实践

大模型优化

大模型优化是指在预训练的大型模型基础上，针对特定任务或数据集进行进一步训练的过程。

预训练模型通常是在大规模无监督数据集上训练的，已经学习到了丰富的语言特征和模式。

优化则是利用这些预训练好的知识，通过在新任务或数据集上进行有限的训练，使模型能够快速适应新的任务需求。

选择大语言模型

深度求索DeepSeek

阿里巴巴通义千问

OpenAI的GPT系列

Meta的LLaMA系列

指定超级参数

学习率(rate)

批量大小

迭代次数