基本信息

---

下载

文档摘要

---

青年拔尖人才支持计划多模态大模型迈向AGI

目录1.1研究挑战1.2因果推理1.3世界模型1.4超级智能体AGIAgent1.5基于Agent的具身只能

1.1研究挑战（1）缺乏评估准则：大规模对话式视觉语言模型的开放性质使其全面评估变得具有挑战性。（2）模型设计准则模糊：大多数现有的多模态大模型都是针对文本、图像和图数据进行操作的，主要方法是增加数据量、提高计算能力和设计训练流程，以获得更好的结果。因此，如何在数据、计算资源和性能之间权衡是值得研究的。（3）多模态对齐不佳：现有的视觉语言模型也存在视觉和语言（或其他模态）之间对齐不佳的问题。例如，与视觉提示（点、框或掩模）相比，