基本信息
文件名称:【国金证券】ChatGPT训练及多场景推理成本测算.pdf
文件大小:1015.53 KB
总页数:9 页
更新时间:2025-05-26
总字数:约1.23万字
文档摘要

行业观点

?2023年3月1日,OpenAI宣布开发者可通过API将ChatGPT和Wisper模型集成到他们的应用程序和产品中。

本次ChatGPTAPI接入的模型名为GPT-3.5-turbo,只需0.2美分/千Tokens。本文尝试测算训练和不同推理场

景之下的实际成本;未来随着模型压缩的持续发展,推理成本可能进一步降低,也有望大幅推动生成式模型在各

个场景的大规模商用。我们的成本估算思路是:计算AI模型在进行训练与推理时所需的浮点运算次数,与AI算

力集群的平均算力(以每秒浮点运算次数计)做比,以此估算AI模型的训练成本与推理成本。

?在通用大模型训练方面,经测算,使用云计算时ChatGPT的训练成本约为170万美元,若自建AI算力中心进

行模型训练,训练成本有望降至约51万美元;在大模型推理方面,使用云计算时的ChatGPT每处理1,000Tokens

信息需花费约0.177美分,自建AI算力中心有望将成本降至0.053美分。

?不同应用场景中AI模型面临的任务复杂度有所不同,我们考虑模型缓存命中率、计算集群闲置率、模型压缩等

因素,综合估算各典型场景下模型的推理成本:1)搜索引擎场景中,以新版Bing为例,完成一次搜索的成本约

为1.73美分;2)办公软件融合ChatGPT后可支持文字生成、文字修改等功能,完成一次用户需求的成本约为

1.70美分;3)AI客服作为对话场景应用,有望率先实现B端落地。经测算,AI客服场景解决一次用户需求的

成本约为0.08美分。

?未来随着模型压缩技术的持续发展,推理成本可能进一步降低,也有望大幅推动生成式模型在各个场景的大规模

商用。

投资逻辑

?我们认为有海外场景的公司有可能率先与GPT-3.5-turbo进行对接,建议关注福昕软件、万兴科技等海外营收占

比较高的应用公司。

风险提示

海外基础软硬件使用受限;应用落地不及预期;行业竞争加剧风险

敬请参阅最后一页特别声明1

行业专题研究报告

内容目录

1.AI模型训练成本估算3

2.通用AI模型推理成本估算4

3.多应用场景下ChatGPT推理成本估算4

3.1搜索引擎场景5

3.2办公软件场景6

3.3AI客服场景6

4.投资建议7

5.风险提示7

图表目录

图表1:AI模型训练成本估算3

图表2:AI模型训练所需浮点运算次数计算与模型参数规模正相关3

图表3:前沿AI模型的有效算力比率3

图表4:考虑有效算力比率后的训练所需浮点运算次数计算4

图表5:AI模型推理成本估算4

图表6:AI模型推理所需浮点运算次数计算4

图表7:具体应用场景中AI模型完成一次任务所需成本4

图表8:新版Bing搜索引擎的运作方式5

图表9:Bing搜索引擎场景任务的所需Tokens5

图表10:办公软件场景任务的所需Tokens6

图表11:AI客服场景任务的所需Tokens6

敬请参阅最后一页特别声明2

行业专题研究报告

2023年3月1日,OpenAI宣布开发者可通过API将ChatGPT和Wisper模型集成到他

们的应用程序和产品中。本次ChatGPTAPI接入的模型