基本信息

---

下载

文档摘要

---

11.3GPT-2模型（2019）GPT-2是OpenAI于2019年发布的一个LLM模型。 11.3.1GPT-2模型特点 1.大规模预训练 2.无监督学习 3.零样本学习 4.内容生成能力 5.多语言支持 6.参数规模 7.性能与成本 总结：GPT-1是Transformer架构在生成任务中的里程碑，虽规模较小，但其预训练思想和技术路线深刻影响了后续模型的发展。后续版本（GPT-2、3、4）通过扩大参数、数据量和训练方法，逐步解决了其局限性，开启了通用人工智能（AGI）探索的新路径。11.3.2GPT-2结构

GPT-2的结构是基于Transfor