基本信息
文件名称：NVIDIA LLM 全栈式方案使用和优化最佳实践.docx
文件大小：7.2 MB
总页数：68 页
更新时间：2024-12-20
总字数：约2.78万字
文档摘要
NVIDIALLM全栈式方案使用和优化最佳实践
周国峰（Chandler)NVIDIA技术研发经理
GTC2024ChinaAIDay,Mar.19,2024
Agenda
?NVIDIAFull-StackSolutionforLLM
?
BestPracticesofNVIDIAMegatron-CoreforLLMTraining
?
BestPracticesofNVIDIATensorRT-LLMforLLMInference
?
BestPracticesofNVIDIATritonInferenceSe