Transformer架构从NLP到计算机视觉

CONTENT目录发展历程01模型架构02主要优势03

01发展历程

卷积神经网络局限感受野受限CNN在浅层网络中提取局部信息的能力有限，难以捕获全局上下文信息。这限制了其在处理复杂图像任务时的表现，尤其是在需要理解整个场景的情况下。缺乏整体感知由于感受野的大小受限，CNN在处理图像时可能无法有效捕捉到整体图像的语义信息。这使得它在理解复杂场景或识别多个对象时可能会遇到困难。效率问题在捕获全局上下文信息方面，CNN的效率不如Transformer模型。这意味着在处理大型数据集或者需要快速响应的应用中，CNN可能不是最优的选择。

自注意力机制提出0