基本信息
文件名称：肖彬-大模型投机采样实践.pdf
文件大小：9.65 MB
总页数：20 页
更新时间：2025-11-06
总字数：约10千字
文档摘要
?模型投机采样实践
clover系列
百川智能肖彬
投机采样原理
大模型计算过程分为prompt计算(prefill阶段)和逐个token输出(decode阶段)
Prefill阶段类似训练，同时计算的token通常比较大，是能将计算打满的
Decode阶段，一个请求每次只会输入一个token，会加载很重的权重和历史kvcache，主要是memorybound
投机采样就是利用decode过程算力冗余
使用额外的技术生成多个候选token同时输送给大模型并