基本信息
文件名称：2023年GPT产业复盘：大容量路线.pdf
文件大小：2.15 MB
总页数：9 页
更新时间：2025-07-09
总字数：约1.04万字
文档摘要
GPT发展之2019：“三足鼎立”，GPT明确大容量路线
2019年“三足鼎立”，GPT-2论文成功开启GPT大容量演进路线。回顾基于Transformer
的预训练大语言模型的发展，可以看到2019年是预训练大语言模型的技术架构演进之年。
以GPT、BERT、T5为代表的三类典型预训练语言模型，分别采用了只有解码器、只有编
码器、同时拥有解码器-编码器的技术架构。GPT-2论文对“更多