PAGE

PAGE1

《结构化剪枝与架构搜索：自动发现并剪除模型中冗余的注意力头、前馈神经元或层》

课题分析与写作指导

本课题《结构化剪枝与架构搜索：自动发现并剪除模型中冗余的注意力头、前馈神经元或层》聚焦于深度学习模型效率优化的核心领域，旨在解决现代大规模神经网络（特别是基于Transformer的模型）在计算资源受限环境下的部署难题。随着模型参数量的指数级增长，模型中普遍存在显著的冗余性，这不仅浪费了存储空间和计算带宽，还增加了推理延迟。本研究的核心内容在于探索并实现一种自动化的机制，该机制能够结合基于重要性评分（如梯度信息、激活值统计）的启发式方法与可微分架构搜索（DARTS