type
status
date
slug
summary
tags
category
icon
password
URL
Rating
【Update 2023.06.25】
分享内容详见:比LLM更重要的多模态学习
 

 
应朋友邀约,本周日下午在MEM大讲堂有个科普性质的分享,取名叫《比LLM更重要的多模态学习线上和线下报名方式参考以下链接(不要在意我的照片,还是多年前同事帮忙拍的):
 
为什么叫这个名字呢?
 
首先我真是认为多模态学习(Multimodal Learning,MML)应该比LLM更受到重视,尤其是对于小公司。我在最近两三年内,至少在三四个项目中用到了MML,主要是CLIP(OpenAI开源的一个MML模型),比如金融资讯检索、推荐,以文搜图,以图搜图等。MML的效果要比单模态数据训练得到的效果好得多。
 
其次,小公司真有必要搞LLM吗?或者搞得动吗?从0训练现在差不多是万亿token的量级了,你连个A100都没有,搞毛啊。
当然,如果你拿着自己的十几万条数据,找个小模型精调下这种也算“搞”的话,那一张3090也是可以搞的。
MML就不同了,在同等量级的精调数据下,你用MML+CL精调出的效果,几乎100%肯定比精调LLM要好。
 
所以,对于很多天然就有多模态数据的应用,非常诚恳地建议你去试试MML。解释一句,所谓多模态数据,不见得就非得有两个完全不同形态的类别。比如一个资讯的标题正文,其实也可以把它们看成两个不同的模态,因为它们各自要满足不同的约束条件。
 
还在赶 PPT 中,先放出一个 Mermaid 画的图。Mermaid 是这次准备PPT过程中的一个惊喜,太好用太强大了啊 👍。
notion image
 
P2T YoloV7 数学公式检测模型开放购买Pix2Text (P2T) 新版公式检测模型
Breezedeus
Breezedeus
Breezedeus
公告
type
status
date
slug
summary
tags
category
icon
password
URL
Rating
🎉CnOCR V2.3 新版发布🎉
-- 新版本特性 ---
CnOCR V2.3 新版模型精度比旧版模型更高。同时加入了分场景、大小规模不同的各种模型,可商用。
 
在线 Demo,欢迎体验