基本信息
文件名称：深度学习与大模型 课件 第8章 大模型的优化.pptx
文件大小：5.15 MB
总页数：16 页
更新时间：2025-12-16
总字数：约2.73千字
文档摘要
第8章大模型的优化
content目录01大模型优化方法02模型压缩与剪枝03知识蒸馏与模型加速04项目实践
大模型优化方法01
优化方法大模型优化大模型优化是指在预训练的大型模型基础上，针对特定任务或数据集进行进一步训练的过程。预训练模型通常是在大规模无监督数据集上训练的，已经学习到了丰富的语言特征和模式。优化则是利用这些预训练好的知识，通过在新任务或数据集上进行有限的训练，使模型能够快速适应新的任务需求。
调优技术概览微调技术通过调整预训练模型以适应特定任务，包括全量微调和参数高效微调，提升模型性能。超参数调整优化学习率、批次大小等，采用网格搜索、