基本信息

---

下载

文档摘要

---

第9章结构和原理9.1结构和原理9.2几种经典的残差网络

9.3案例与实践

9.1结构和原理

9.1.1残差网络的结构残差网络的出现拨开了深度神经网络笼罩已久的“两朵乌云”。一是梯度消失或梯度爆炸现象,且网络越深该现象就越明显,导致网络难以收敛从而效果下降。二是网络退化问题。在神经网络可以收敛的前提下,随着网络层数加深,网络的表现先是逐渐增加至饱和,然后迅速下降。实验表明,20层以上的深度网络,如果继续增加网络层数,分类的精度反而会降低,且56层网络的测试误差率大约是20层网络的2倍,如图9.1所示。