基本信息
文件名称：《自然语言处理：基于预训练模型的方法》 课件08-预训练语言模型进阶.pptx
文件大小：13.65 MB
总页数：53 页
更新时间：2026-03-02
总字数：约8.25千字
文档摘要
预训练语言模型进阶
模型优化1长文本处理2模型蒸馏与压缩3生成模型4
模型优化1长文本处理2模型蒸馏与压缩3生成模型4
4HARBININSTITUTEOFTECHNOLOGY模型优化XLNet:Transformer-XLNet提出了一种可以捕获双向上下文的基于自回归的语言建模方法解决了BERT中存在的“预训练-精调”不一致的问题排列语言模型（PermutationLanguageModel）从所有可能的排列当中均匀采样一种排列顺序（factorizationorder）最大化对数似然函数
5HARBININSTITUTEOFTECHNOLOGY模型优化XLNet:T