大语言模型服务管理的实践分享
王夕宁/马元元阿里云;阿里云容器服务Kubernetes及ServiceMesh技术研发负责人,拥有100多项相关领域的国际技术专利,专注于Kubernetes/云原生/服务网格等领域。
曾在IBM研发中心工作,担任资深架构师和技术专家，主导和参与了一系
列SOA中间件和云计算领域的产品研发，并曾担任中国研发中心专利技术评审委员会主席。出席过行业内多个技术大会，包括Kubecon、
InfoQ、ArchSummit、IstioCon和云栖大会等。同时，著有畅销书
《Istio服务网格解析与实战》。;
1.LLM服务管理的特征与挑战
2.应对思路与方案
3.现有的技术基础之上扩展支持
4.MSM:用于管理GenAI/LLM工作负载的统一方式;
PART01
LLM服务管理的特征与挑战;
传统网络流量管理;
由于GenAI/LLM模型的?回归特性，LLM推理请求的有效服务?临不可预测的执?时间的挑战。
LLM服务系统?多采?先进先出（FCFS）调度，遭受??阻塞（head-of-line）问题。;
PART02
应对思路与方案;
?输出Token长度（N）决定了请求的执行时间（T），因为T=C+K×N，?K是生成一个标记的延迟，
?C是模型服务系统的开销，包括DNS查找、代理、排队和输入标记化。
?K取决于模型优化技术（例如，量化）和执行环境（例如，硬件），对于所有输入都是相同的。;
获得令牌的请求处理
丢弃的请求处理;
?通过限制并发中请求的数量，防范服务突然过载。
?超出此限制的任何请求将进入队列，并根据它们的优先级在有能力提供服务时予以处理
?用于根据重要性调度请求，同时确保应用遵守并发限制。
流量调度管理套件;
服务网格技术;
模型网格代理;
PART03
现有的技术基础之上扩展支持;
模型网格代理;;;
?自动完成HTTP到HTTPS协议升级
?自动配置model、
stream以及API_KEY。;
LLM请求路由;;
API_KEY管理;;
多种安全模型：基于入口网关、sidecar以及基于出口网关应用无感;
多种安全能力，全方位保障LLM应用安全;
多种安全能力，全方位保障LLM应用安全;
多种安全能力，全方位保障LLM应用安全;
可观测;
PART04
ModelServiceMesh:用于管理GenAI/LLM工作负载的统一方式;
ModelServiceMesh=
ServiceMesh+ModelServicePipeline
服务网格数据面服务编排数据面;;
THANKS