type
status
date
slug
summary
tags
category
icon
password
URL
Rating
【Update 2023.06.25】
分享内容详见：比LLM更重要的多模态学习 。
应朋友邀约，本周日下午在MEM大讲堂有个科普性质的分享，取名叫《比LLM更重要的多模态学习》。线上和线下报名方式参考以下链接（不要在意我的老照片，还是多年前同事帮忙拍的）：
为什么叫这个名字呢？
首先我真是认为多模态学习（Multimodal Learning，MML）应该比LLM更受到重视，尤其是对于小公司。我在最近两三年内，至少在三四个项目中用到了MML，主要是CLIP（OpenAI开源的一个MML模型），比如金融资讯检索、推荐，以文搜图，以图搜图等。MML的效果要比单模态数据训练得到的效果好得多。
其次，小公司真有必要搞LLM吗？或者搞得动吗？从0训练现在差不多是万亿token的量级了，你连个A100都没有，搞毛啊。
当然，如果你拿着自己的十几万条数据，找个小模型精调下这种也算“搞”的话，那一张3090也是可以搞的。
MML就不同了，在同等量级的精调数据下，你用MML+CL精调出的效果，几乎100%肯定比精调LLM要好。
所以，对于很多天然就有多模态数据的应用，非常诚恳地建议你去试试MML。解释一句，所谓多模态数据，不见得就非得有两个完全不同形态的类别。比如一个资讯的标题和正文，其实也可以把它们看成两个不同的模态，因为它们各自要满足不同的约束条件。
还在赶 PPT 中，先放出一个 Mermaid 画的图。Mermaid 是这次准备PPT过程中的一个惊喜，太好用太强大了啊 👍。
- 作者:Breezedeus
- 链接:https://www.breezedeus.com/article/intro-mml-20230616
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。