多模态机器学习资源列表
awesome-multimodal-ml
机器人
3/5
🧩 软硬件结合
已发布
项目简介
Reading list for research topics in multimodal machine learning
这是一个由卡内基梅隆大学机器学习系与语言技术研究所的Paul Liang主导维护的开源项目，旨在系统性地梳理和整合多模态机器学习领域的核心知识体系。项目以一份详尽的“Awesome List”形式呈现，覆盖了从基础理论到前沿应用的完整生态，是研究人员、工程师和学生进入该领域的权威导航图。
标签
项目特点
**全面覆盖**：整理了多模态机器学习领域的核心研究主题，包括表示学习、融合、对齐、预训练、翻译、检索、协同学习等。
**资源丰富**：提供了大量高质量的论文、教程、课程视频和研讨会的链接，方便用户深入学习。
**持续更新**：由领域专家维护，并欢迎社区贡献，确保列表的时效性和准确性。
**结构清晰**：按主题分类（如核心领域、架构、应用），并包含详细的目录，便于快速查找。
技术规格
| 项目类型 | 资源列表 / 阅读清单 |
|---|---|
| 主要领域 | 多模态机器学习 (Multimodal Machine Learning) |
| 维护者 | Paul Liang (CMU) |
| 相关机构 | 卡内基梅隆大学 (CMU) MultiComp Lab |
| 核心教程 | [Foundations and Recent Trends in Multimodal Machine Learning](https://arxiv.org/abs/2209.03430) |
| 课程链接 | [11-877 Advanced Topics in Multimodal ML](https://cmu-multicomp-lab.github.io/adv-mmml-course/spring2022/) |
| 课程链接 | [11-777 Multimodal Machine Learning](https://cmu-multicomp-lab.github.io/mmml-course/fall2020/) |
项目资源
搜索资源
物料清单 (BOM)
| 物料名称 | 数量 | 参考价格 | 备注 |
|---|---|---|---|
| 综述论文 | 10+ | — | 涵盖多模态ML的各个方向 |
| 核心领域论文 | 50+ | — | 包括表示、融合、对齐等 |
| 应用与数据集 | 20+ | — | 包括VQA、导航、医疗等 |
| 课程与教程 | 3 | — | 来自CMU的公开课程 |
能力画像
⚪ 记忆与知识检索: 5/5
🔵 逻辑推演: 3/5
⚪ 表达与交流: 2/5
⚪ 感知与观察: 1/5
⚪ 数理与计算: 3/5
⚪ 动手与操作: 1/5
⚪ 狂热与坚持: 3/5
⚪ 创造与创新: 2/5
视频
所需技能
🔧 **动手能力**：无需动手能力，主要依赖阅读和文献检索。
💻 **编程能力**：非必需，但了解Python和深度学习框架（如PyTorch）有助于理解论文中的代码示例。
⚡ **电子电路**：不适用。
适用场景
**学术研究**：作为多模态机器学习领域的入门指南和文献综述参考。
**课程学习**：配合CMU的公开课程（11-777或11-877）进行系统学习。
**技术调研**：快速了解特定主题（如多模态融合、预训练）的最新进展和经典工作。
**论文写作**：查找相关领域的参考文献和数据集。