IndustryReview行业综述
“训推一体”通用AI计算架构的
未来发展趋势与挑战
刘珲
（奕行智能科技（广州）有限公司，广州511455）
摘要：文章探讨了“训推一体”通用AI计算架构的未来发展趋势与面临的挑战。随着人工智
能应用的不断扩展，对高性能计算、实时推理和大规模数据处理的要求日益提高。架构将趋向于更高
的算力密度和能效比，以支持更复杂的模型和应用。边缘计算和云计算的融合将促进更灵活的资源配
置，提升系统的响应速度和可扩展性。架构的优化也面临诸多挑战，包括如何有效管理计算资源、降
低能源消耗，以及确保系统的安全性与稳定性。随着模型复杂度的增加，训练和推理的算法效率也急
需改进。本文旨在为研究人员和从业者提供一个全面的视角，以应对快速变化的AI领域，并推动“训
推一体”架构的持续创新与发展。
关键词：“训推一体”；通用AI计算架构；未来发展趋势
在快速发展的人工智能领域，“训推一体”通1“训推一体”通用AI计算架构
用AI计算架构正逐渐成为一种关键趋[1]。这种架构通
过将模型训练和推理过程紧密结合，不仅提高了计“训推一体”通用AI计算架构是一种集成了
算效率，还加快了模型的部署速度。随着应用场景模型训练和推理功能的创新计算框架，旨在提升人
的日益复杂，该架构面临着诸多挑战，包括计算资工智能应用的效率与灵活性。在传统的AI开发过程
源的高效利用、数据安全性以及模型可解释性等问中，模型训练与推理往往是分开的，导致资源浪费
题。为了实现更广泛的应用，研究者需要在算法优和时间延迟[2]。而“训推一体”架构通过将这两者紧
化、硬件设计和系统架构等方面进行深入探索。如密结合，能够在同一平台上实现高效的数据处理和
何平衡性能与能耗、保证系统的灵活性与适应性，实时的推理反馈（见图1）。
也是未来发展的重要课题。本文将深入分析“训推该架构的核心优势在于其资源的优化利用。
一体”架构的未来发展趋势及面临的挑战，以期为通过共享计算资源与存储，系统能够在训练阶段
相关研究提供参考和启示。和推理阶段动态调整资源分配，从而提高整体性
作者简介：刘珲，男，1978年生，硕士，工程师。研究方向为人工智能芯片。
2024年第２期
28
北斗与空间信息应用技术
行业综述IndustryReview
推理预测检验控制推理预测检验
格
式
转
换
融合云平台
Tensor?owCa?eRKNNOnxxTensor?owCa?epytorchKeras