基本信息
文件名称:2023年GPT产业复盘:大容量路线.pdf
文件大小:2.15 MB
总页数:9 页
更新时间:2025-07-09
总字数:约1.04万字
文档摘要
GPT发展之2019:“三足鼎立”,GPT明确大容量路线
2019年“三足鼎立”,GPT-2论文成功开启GPT大容量演进路线。回顾基于Transformer
的预训练大语言模型的发展,可以看到2019年是预训练大语言模型的技术架构演进之年。
以GPT、BERT、T5为代表的三类典型预训练语言模型,分别采用了只有解码器、只有编
码器、同时拥有解码器-编码器的技术架构。GPT-2论文对“更多