基本信息

---

下载

文档摘要

---

探寻神经网络参数压缩与推断加速的前沿路径

一、引言

1.1研究背景与动机

近年来，深度学习技术取得了令人瞩目的进展，在计算机视觉、自然语言处理、语音识别等众多领域展现出卓越的性能，推动了人工智能技术的飞速发展。神经网络作为深度学习的核心模型，其规模和复杂度不断攀升。以图像识别领域的经典模型为例，早期的AlexNet包含约6000万个参数，而后续发展的VGG-16模型参数数量更是达到了1.38亿个，ResNet-152的参数规模也相当庞大。在自然语言处理领域，GPT-3模型拥有高达1750亿个参数，如此大规模的参数使得模型能够学习到极其复杂的模式和特征，