众所周知，第一节课一般都是吹水，没啥意义。
一、什么是多模态？
模态（Modal）在物理上，指结构系统的固有振动特性，而在这里是指一种特定的信息类型或者信息表示方式，比如文本、图像、声音等。而感知模态（Sensory Modality）指的是感官形式，比如触觉、视觉、听觉等。那么多模态就是同时处理多个模态了。
二、多模态的发展历史
下面这些是真的老资历。
- 行为学时期：上世纪 70-80 年代，探讨人为什么能同时处理多种模态。比如 The McGurk Effect。
- 计算学时期：80-00 年代，通过设计算法以处理多模态。比如 AVSR 任务，以及情感计算。
- 交互时期：00-10 年代，比如 Siri
- 深度学习时期。这就是本课的重点
三、为什么需要多模态？
其实这也是我最近思考的问题，起源于一次组会，当时我们就在讨论多模态记忆的必要性，因为假如说不管视频、音频或者其他模态，全部转化成文本 caption，好像也可以解决问题。后来我们从实验和理论两方面证明了它的重要性：从实验方面，我们发现多模态记忆比纯文本记忆更好；从理论方面，图像等信息是比文本更密集的信息，只用文本很可能遗漏一些原先模态中有的信息。
这只是关于记忆的一些讨论，至于为什么需要多模态，那自然是因为我们人是可以接受多模态的，如果希望人工智能能模拟人的能力，那想研究多模态就很自然了。
那有些什么相关任务呢：
- Image Captioning，视觉→文本，对图像生成介绍
- Video Description，视觉→文本，对视频生成描述
- Referring Expression，视觉+文本→视觉，找出文本指示的视觉内物品
- Visual Question Answering，视觉+文本→文本，根据视觉回答问题
- 等等等等……这也太多了
四、主要挑战
由于多模态集成了多种模态，因此也继承了各个模态的挑战，同时也有一些新的问题。主要挑战包括下面这些：
- 多模态的表征，如何把不同模态中相同的物品以相近的表征表示；
- 模态对齐，如何将多种模态正确联系起来；
- 当一个模态变化时，如何实现其他模态相应变换；
- 当多个模态组合时，如何把它们结合起来以执行预测任务；
- 联合学习。
五、课程安排
本课包括两大部分。第一部分，会重点介绍表征这个问题，它又包括三个小部分：视觉表征、语言表征、多模态表征。第二部分，会介绍一些多模态的应用，包括多模态预训练、跨模态描述生成、以及视觉问答。
分数构成为作业：期中：大作业=3:3:4，其中三次作业每次 10 分，就是代码填空。大作业 2 人一组，包括 pre 10 分，实现 30 分，在 pre 时向别人提问（刁难）可以每次加 2 分，最多 6 分。
六、现实应用
其实我本来打算完全不提到这一方面的内容的，因为这也太宽泛了。但是谁曾想老师在这部分讲了整整两个小时？说实话我不是很理解啊。我仍然不会记录这方面的内容。
留下评论