DeepSeek在企业侧的落地挑战与实践 分享主题
推理模型元年，新模型、新技术依然可期发布时间推理模型2024-9-12OpenAIo1preview2024-11-20DeepSeekR1LitePreview2024-11-28QwQ-32B-Preview2024-12-20Gemini2.0FlashThinking2024-12-21OpenAIo32024-12-31GLMZeroPreview2025-1-15讯飞星火X12025-1-16阶跃星辰StepReasonermini2025-1-20DeepSeekR12025-1-20Kimik1.52025-1-31OpenAIo3-mini2025-2-13OpenThinker-32B2025-2-18Grok3即将发布豆包、Anthropic、GPT-5等RL不是唯一技术路线，依然有新路线在探索。2025年，众多AI厂商将发布推理模型，版本迭代井喷。语言模型推理模型GPT-5LatentReasoning隐式推理
推理模型企业落地路径由浅入深，企业逐步落地推理模型。复制“微信+DeepSeek”的落地方式，企业在IM中嵌入，鼓励全员使用，拓宽使用思路。RAG方式探索企业新应用场景，以及拓宽ChatBI、知识库等使用场景。推理模型进入Scaling阶段，更新频繁，企业不急于尝试SFT。DataSets-114kR1API接入1R1本地化部署2知识库RAGR1本地化部署3知识库RAGCoTPromptingR1本地化部署4企业知识Data企业CoTDataSFT
蒸馏＞强化学习针对已经做过LLM预训练的企业，是否可以复制R1模型的强化学习训练过程，从而得到懂企业知识的专属推理模型？基于R1进行蒸馏的效果＞强化学习。而且，省时、省算力。基础模型对于RL更重要。蒸馏版32B模型显著优于强化学习版32B模型
配置推荐推理模型参数最低GPU显存推荐GPU型号适用场景1.5B3.5GBRTX306012G个人学习7B、8B16GBRTX409024G小型项目14B32GBRTX409024G*2专业应用32B74GBA10040GB*2企业级服务70B161GBA10080GB*4高性能计算671B1342GBH100集群超算/云计算
推理模型使得大模型向决策场景迈出重要一步智能反洗钱新型反欺诈识别企业风险评估预警供应链风险评估财务对账与分析授信报告自动生成智能投顾智能投研代码生成金融决策场景生成场景增强电力负荷预测电力价格预测电力交易策略优化能源设备运维生产安全监察巡检报告自动生成智能问数能源研发设计智能排产生产工艺自适应生产工艺优化生产质量监控设备故障诊断生产报告自动生成制造智能客户洞察智能调度产品研发智能客服智能导购智能投放创意营销策略零售智能诊疗患者风险预测疾病预测虚拟医药代表智能医学影像CDSSDRGs医疗大模型在产研/科研领域价值得到企业用户认可。推理模型的介入，使得应用从Co-Pilot升级为Co-Creator。
消费级AI手机逐步成熟，R1蒸馏的端侧模型向企业场景渗透企业场景设备维修等人员作业场景生产质检等设备作业场景能耗管理等决策分析场景端侧模型成为手机标配模型量化技术芯片设计适配DeepSeek在Qwen模型上的知识蒸馏测试，证实了端侧模型能力大幅提升的可行性
在推理场景中，开源模型能力大幅逼近闭源模型在侧重语言理解的MMLU测试中，闭源模型优势从3%缩减至1%。在语言理解和推理并重的MMLU-Pro测试中，闭源模型优势从24%缩减至8%。在侧重深度推理的GPQA测试中，闭源模型优势从49%缩减至6%。
企业为模型付费意愿下降，预算转向模型应用构建与交付在闭源世界重新拉开与开源世界的差距之前，企业为模型授权的付费意愿降至冰点。对于需要私有化部署，又没有AI技术团队的国企而言，大模型厂商必须提供“交钥匙”服务。此背景下，企业仍有一定模型付费意愿。AI应用构建服务推理算力服务API调用服务模型部署与运维服务模型预算转移
25年企业AI大模型支出295亿元，公有云推理支出剧增2025年整体企业IT预算呈微降趋势，AI大模型是唯一IT预算增加的方向。大量企业直接接入推理模型API，API调用与公有云费用随之剧增。5-10%，大模型支出占企业IT支出比例。