基本信息
文件名称：2023年GPT产业复盘：GPT问世.pdf
文件大小：1.45 MB
总页数：14 页
更新时间：2025-07-10
总字数：约2.88万字
文档摘要
正文目录
GPT发展之2017：Transformer架构为GPT奠定基础3
Transformer：GPT模型的基础3
自注意力机制是Transformer的核心理念4
GPT发展之2018：GPT-1诞生，开启NLP新发展热潮6
GPT-1：确定生成式预训练模型基本路线8
GPT-1：基于Transformer的预训练+微调半监督模型8
模型特点：无监督训练+有监督微调8
论文结论：在多个下游任务中取得优于整体的结果10
GPT-2vsELMo/ULMFiT