基本信息

---

下载

文档摘要

---

昇腾推理技术的优化实践

演讲人：张君

01大模型推理的现状及挑战

02昇腾硬件亲和的FA融合算子性能优化实践

03基于AscendC的MC2通算融合算子性能优化

目录04总结与展望

01

大模型推理的现状以及挑战

现状1：模型规模增大及自回归解码带来访存及算力利用率压力

Prefill阶段Decode阶段

每token串行

…×N…×N…×N…×N…×N…×N迭代多步…×N…×N

02

?不同请求输入长度不同batch×seq小EOS?不同用户请求输出长度不同

?batch×seq大EOS?迭代步数多的请求时延长

…×N缓存…×N

EOS

时延决定用户体验，吞吐衡量系统成本

模型规模大，内存容量和访存是瓶颈自回归算力利用率低，低时延高吞吐难以兼顾

内存容量不足导致单卡无法推理Prefill和Decode两阶段推理差异大，难以充分利用算力资源

?模型参数：百亿/千亿模型参数超过单卡内存容量?基于request的调度导致大量算力空闲：同batch序列长度差异大

?KVCache：随着batchsize和序列长度增长，占用更多内存；?不同阶段的请求难以batch：prefill/decode输入、kvcache维度差

别大

访存带宽制约50ms/token推理时延达成Decode阶段每token串行解码算力利用率低

?多路并发缓和带宽压力，提升吞吐但增加时延?串行解码以GEMV为主，计算访存比低

?随着序列增长，KVCache访存成为瓶颈，推理时延成倍增长?KVCache访存量随序列长度增长，Attention占比增加

现状2：KVCache导致内存墙”瓶颈进一步加剧

不采用KVCache，全量计算硬推，计算量采用KVCache，推理内存开销数线性增长，

随序列长度增加指数级增涨形成“内存墙”和”带宽墙”