大语言模型服务管理的实践分享
王夕宁/马元元阿里云
演讲嘉宾
王夕宁
阿里云容器服务技术研发负责人
阿里云容器服务Kubernetes及ServiceMesh技术研发负责人,拥有100多项相关领域的国际技术专利,专注于Kubernetes/云原生/服务网格等领域。
曾在IBM研发中心工作,担任资深架构师和技术专家，主导和参与了一系列SOA中间件和云计算领域的产品研发，并曾担任中国研发中心专利技术评审委员会主席。出席过行业内多个技术大会，包括Kubecon、
InfoQ、ArchSummit、IstioCon和云栖大会等。同时，著有畅销书《Istio服务网格解析与实战》。
1.LLM服务管理的特征与挑战
目录CONTENTS
目录
CONTENTS
3.现有的技术基础之上扩展支持
4.MSM:用于管理GenAI/LLM工作负载的统一方式
PART01
LLM服务管理的特征与挑战
GenAI/LLM服务管理面临独特的挑战
传统网络流量管理
GenAI/LLM流量管理
?请求/响应大小较小
?由于多模态流量，请求/响应大小较大
?许多查询可以并行处理
?单个大语言模型查询经常占用100%的TPU/GPU计算时间
?请求一到达就进行处理
?请求等待可用的计算资源
?处理时间以毫秒计算
?处理时间从几秒到几分钟不等
?相似请求可以从缓存中得到处理
?每次请求通常生成唯一内容
?请求成本由后端管理
?根据请求将流量路由到更便宜或更昂贵的模型
?传统的轮询或基于利用率的流量管理
?具备AI感知的负载均衡能力
流量请求调度TrafficRequestScheduling
由于GenAI/LLM模型的?回归特性，LLM推理请求的有效服务?临不可预测的执?时间的挑战。
LLM服务系统?多采?先进先出（FCFS）调度，遭受??阻塞（head-of-line）问题。
基于历史数据和模型特性，训练出一个代理模型，用于预测每个推理请求的序列长度。
利用代理模型的序列长度预测的推测最短作业优先（SSJF）调度器。
PART02
应对思路与方案
SSJF调度器-引入Token长度预测器
End
Users
请求批 处理Request
请求批
处理
RequestPool
R1请
R1
求
R2队
R2
的处理列R3Model, Input
的处理
列
R3
···
···
预测Token长度
?输出Token长度（N）决定了请求的执行时间（T），因为T=C+K×N，?K是生成一个标记的延迟，
?C是模型服务系统的开销，包括DNS查找、代理、排队和输入标记化。
?K取决于模型优化技术（例如，量化）和执行环境（例如，硬件），对于所有输入都是相同的。
?输出Token长度决定执行时间（线性关系）
Ref：/James-QiuHaoran/LLM-serving-with-proxy-models
智能工作负载优先级调度
令牌桶
令牌填充率
?服务在处理每个请求之
获得令牌或者
获得令牌或者继续等待
令牌?
?加权公平排队调度器实
?
加权公平排队调度器实施优先级和公平性。
WFQ调度器高优先级
WFQ调度器
高优先级
分类
分类
获得令牌的请
获得令牌的请求处理
目标服务中优先级
目标服务
中优先级
丢弃的请求处理
丢弃的请求处理
?对请求进行标记
?对请求进行标记
低优先级
低优先级
智能工作负载管理-流量调度管理套件
优先处理工作负载，保障关键用户体验路径使用权重公平排队,根据业务价
优先处理工作负载，保障关键用户体验路径
使用权重公平排队,根据业务价值和请求紧急程度调整资源分配,来实现应用程序的优雅降级
?
??超出此限制的任何请求将进入队列，并根据它们的优先级在有能力提供服务时予以处理
?
?用于根据重要性调度请求，同时确保应用遵守并发限制。
流量调度管理套件
统一的流量请求调度器
?基于闭环反馈来逐步增加系统的工作负荷或请求量，而不是瞬间施加大的负载。
?基于闭环反馈来逐步增加系统的工作负荷或请求量，而不是瞬间施加大的负
载。
?能够帮助系统逐步适应增加的负荷，从而确保系统在负载增加过程中仍然稳定运行，并最大限度地减少对系统的冲
击。
?
统一的策略资源定义及
控制器
?通过细粒度标签识别单个用户,根据业务特定标签控制爆发能力和填充速率;
?
?限制每个用户或全局并发中请求的并发量;
?
?通过缓存成本高昂的操作，防止对按使用付费