DeepSeek-R1\Kimi1.5及
类强推理模型开发解读
Outline2
?DeepSeek-R1开创RL加持下强推理慢思考范式新边界
?DeepSeek-R1Zero及R1技术剖析
?Pipeline总览\DeepSeek-V3Base\DeepSeek-R1Zero及R1细节分析
?RL算法的创新：GRPO及其技术细节
?DeepSeek-R1背后的InsightsTakeaways：RL加持下的长度泛化\推理范式的涌现
?DeepSeek-R1社会及经济效益
?技术对比探讨
?STaR-basedMethodsvs.RL-basedMethods强推理路径对比(DS-R1\Kimi-1.5\o-series)
?蒸馏vs.强化学习驱动：国内外现有各家技术路线对比分析及Takeaways
?PRMMCTS的作用
?从文本模态到多模态
?其他讨论：Over-Thinking过度思考等
?未来方向分析探讨
?模态穿透赋能推理边界拓展：Align-DS-V
?合成数据及Test-TimeScaling:突破数据再生产陷阱
?强推理下的安全：形式化验证FormalVerification\审计对齐DeliberativeAlignment
?补充拓展：DeepSeek-V3解读
DeepSeek-R1开创RL加持下强推理慢思考范式新边界3
?OpenAIo1开启后训练Post-Training时代下的RL新范式：后训练扩展律Post-TrainingScalingLaw
?DS-R1独立发现了一些通往o1路上的核心理念，并且效果还好到受到了OpenAI的认可
?如何通过有效的Test-TimeScaling和Train-TimeScaling提升模型的推理能力？
?得益于纯大规模强化学习，DeepSeek-R1具备强大推理能力与长文本思考能力，继开源来备受关注。
?DeepSeekR1-Zero和R1的出现再次证明了强化学习的潜力所在：
?R1-Zero从基础模型开始构建，完全依赖强化学习，而不使用人类专家标注的监督微调（SFT）；
?随着训练步骤增加，模型逐渐展现出长文本推理及长链推理能力；
?随着推理路径增长，模型表现出自我修复和启发式搜索的能力；
DeepSeek-R1开创RL加持下强推理慢思考范式新边界4
?得益于强大的推理能力与长文本思考能力，DeepSeekR1在复杂任务上表现卓越，成为开源领域的又
一里程碑，标志着开源社区在与闭源大模型（如OpenAIo1系列）的竞争中迈出了关键性一步。
?DeepSeek-R1在数学代码任务上表现突出
?DeepseekR1在AIME2024上获得了79.8%的成绩，略高于OpenAI-o1-1217。在MATH-500上，获得97.3%
的惊人成绩，表现与OpenAI-o1-1217相当。
?在编码相关的任务中表现出专家水平，在
Codeforces上获得了2029Elo评级，在竞赛中表现
优于96.3%的人类参与者
?DeepSeek-R1在知识类问答上推动科学探索边界：
?MMLU\MMLU-Pro\GPQADiamond等STEM-
related榜单上取得良好表现
?R1展现出强推理模型在AI-DrivenResearch的潜力
?在长文本依赖任务如FRAMEs和事实性推断任务
Simple-QA上表现突出
回顾：Pre-TrainingScalingLaw5
?Pre-TrainingScalingLaws:预训练模型上广泛观察到的现象，协调了计算量C、模
型参数量N和数据大小D之间的关系
回顾