【新智元导读】MoCa框架把单向视觉语言模型转化为双向多模态嵌入模型，通过持续预训练和异构对比微调，提升模型性能和泛化能力，在多模态基准测试中表现优异，尤其小规模模型性能突出。

预训练的视觉语言模型（VLM）因其强大的图文联合建模能力，在多种任务上展现出巨大潜力，也成为了许多目前广泛使用的多模态嵌入模型的基础。

然而，这些使用因果注意力机制的多模态嵌入模型在多模态嵌入任务中存在三个关键限制：

表示能力弱：因果注意力机制单向预测的特性，限制了模型充分捕获双向跨模态的深层语义。

泛化性差：传统模型多依赖于简单的图文对训练数据，缺乏更广泛、更丰富的数据源，难以在新任务或新领域快速泛化。

扩展性低：现有模型的对比学习方法严重依赖于高质量的标注数据，导致成本高昂，难以有效地利用大规模无标注数据。

如何高效地将预训练因果VLM转变为强大的双向多模态编码器，已成为多模态理解领域的重要挑战。

为了克服这些挑战，亟需开发出一种新型框架，能够高效利用大规模非标注数据，提升多模态嵌入模型的双向理解和泛化能力。

中国人民大学、微软亚洲研究院、斯坦福大学、普林斯顿大学等机构的研究者提出了MoCa框架，采用双阶段方法，将基于单向注意力预训练的视觉语言模型（VLM）转化为有效的双向多模态编码模型。

MoCa通过针对不同模态的持续预训练和异构对比微调，有效解决了传统模型表示能力弱、泛化性差、扩展性低的问题，取得了显著的性能提升。

利用随机遮蔽的文本与图像块进行联合重建（MLM+MAE），增强模型的双向跨模态理解能力；有效捕获了更丰富的跨模态语义信息。

利用多样化的训练数据（如长文档、专业领域图文、纯文本等）和任务批次采样策略，进一步提高模型的鲁棒性和泛化性能。

通过上述方法，MoCa有效提升了多模态嵌入模型的双向表示能力和泛化性能，并显著降低了对高质量标注数据的依赖。

实验结果表明，MoCa在多个标准多模态基准测试中表现出色，尤其是在小规模模型条件下即可超越更大模型的性能，为多模态嵌入模型的进一步发展奠定了坚实基础。

跨模态双向注意力：有效捕获图文之间的深层语义交互，改善因果模型单向推理的不足。

联合mask重建（MLM+MAE）：随机遮蔽文本词汇与图像块，让模型双向预测并恢复缺失信息；充分挖掘无标注数据的潜力，增强模型的跨模态表示能力。

任务批次采样策略：动态采样不同任务批次，确保模型能够高效地适应多任务、多领域的应用需求。

多样化数据源：采用长文档、多领域图文、纯文本等丰富数据类型，提升模型的泛化能力。

通过这两个组件的紧密协作，MoCa实现了预训练到微调的高效流程，充分利用无监督数据，在性能和泛化性上取得突破。

充分利用大规模无标注数据，通过持续预训练显著降低成本；

丰富的数据类型和任务采样策略，大幅提升泛化性能和扩展性。

因此，MoCa的提出为多模态嵌入领域提供了一条更加高效、更具泛化性的研究路径。

研究人员在主流多模态嵌入基准MMEB和ViDoRe-v2上进行了全面评估。

MoCa在跨语言、跨领域的复杂任务中表现突出，整体性能超过现有先进方法。

实验结果充分验证了MoCa框架在低资源条件下实现高性能的能力，以及卓越的泛化性能。

实验验证了MoCa各核心组件的有效性，结果显示，去除针对不同模态的持续预训练或异构对比微调中的任一环节，模型性能均明显下降，进一步证明了MoCa框架每个组件的必要性和重要性。

为了探究持续预训练数据规模对模型性能的影响，研究人员进行了针对性实验。

实验表明，随着用于持续预训练的数据规模增加，模型的多模态理解性能持续提升，但存在一定的性能饱和效应。

结果显示，在实际应用中应合理权衡数据规模与计算成本，以实现最优性能。

MoCa框架的成功验证了针对不同模态的持续预训练和异构对比微调策略的巨大潜力。这一方法不仅提升了小规模模型的表现，也为更广泛的数据利用和泛化能力奠定了基础。

集成更多模态信息，如视频和音频，推动模型在更复杂场景下的应用。

优化持续预训练策略，探索更高效的训练技术，进一步降低计算成本。

通过持续的努力，MoCa框架一定能够在多模态嵌入领域发挥更广泛、更深远的影响。

单向VLM变双向！人大斯坦福等提出MoCa框架：双向多模态编码器

「统计」P6F3X2M7T9QJ8L1B4WZR

66.12MB

版本V1.9.10

下载APK 高速下载

下载从头黄到尾的小小说梦中的女孩安装你想要的应用更方便更快捷发现更多

38%好评(35705人)

详细信息

软件大小: 81174.70990MB
最后更新: 2025-07-16 20:30:20
最新版本: V4.24644.9
文件格式: apk
应用分类:ios-Android 高三学生喷潮取精10次
使用语言: 中文
: 需要联网
系统要求: 9.43505以上

应用介绍

一，妈妈解开裙子让我c夜夜爽，taipeinana安慰儿子
二，揉我胸啊嗯～下面出，mm131王雨纯被❌污污污
三，纲手被❌吸乳脱内内，美女被❌❌吸乳得到大胸
四，成人免费❌❌❌app，妇女撒尿XXXX
五，亚洲AV㊙️精品久久人与人性，美女打开双腿❌❌网站
六，灰原哀屈辱戴上乳环小说,绿帽社网站免费进入入口，孟子义洗澡时被c到高潮小说
七，男男被狂揉下部❌羞羞动本子
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V8.3.22

火影忍者美女

本子全彩ACG⭐️无翼乌大全

古装美女被扒衣服糟蹋

24386.73MB

107好评

男人的🍌伸到🍑屁股软
吃美女奶头91黄网站在线

不该瞒着妻子参加漫展动漫在线观看免费

34402.92MB

411702好评

云缨裸体被❌羞羞漫画app
❤嫩草影院在线观看❤成人版

美女㊙️桃花岛入口

13.96MB

318好评

免费➕无码➕国产真人照片九色
蜜桃AV3D同人动漫18.C

把jiji❌进女班长屁屁里小说

53.11MB

276好评

1000部丰满熟女富婆视频
妓院女春DVD片

男男GaYGAYS✅打飞

71.27MB

709好评

扒开雏田❌狂揉❌3D
免费无遮挡🔞视频网站醉酒动漫

18🈲🍆🍑无套

83.84MB

333好评

amazon日本网站入口www
嗯∽啊～轻点禁🔞揉胸动漫

贼王路飞女帝汉库克

23.42MB

105好评

鬼子暴行女兵电影免费播放
分娩纪录片真人分娩

国产肥老妇视频

50.28MB

926好评

免费看60分钟黄🟡色视频日本
动漫❌c🐻黄扒衣服做小电

疯狂❌自慰爽www看片nan

83.34MB

566好评

范冰冰被狂c躁到高潮视频AV
阿离被爆❌羞羞黄文

小心入视频的动漫

83.86MB

756好评

鬼方佳代子裸体被❌涩涩
白丝美女被❌娇喘流白色液

不良人姬如雪黄改

84.41MB

6350好评

美女露出🐻让男生揉的亲嘴
琪亚娜变身空之律者

女同学粉嫩脚丫玉足jk

24.37MB

722好评

katasumi后门和前门区别
扬幂性做爰A片免费看

校园全黄H全肉全文

65.84MB

748好评

17岁女孩腿上晚上穿什么
同性帅男又粗又爽Gay

动漫强迫裸体被❌出水网站

54.64MB

757好评

约尔被❌吸乳羞羞3D
www深夜成人🔞漫画网站

女同怎么炒菜新手

57.25MB

686好评

揉我胸⋯啊⋯嗯-千仞雪视频
女被狂揉下部❌羞羞动漫

隔着肉丝🌸扒腿自慰小说

24.43MB

353好评

成人A片无码永久免费第三集
木影·cc

打美女白嫩㊙️光屁屁视频动漫

13.61MB

315好评

成人🔞美女裸体
羞羞小黃片㊙️🈲

小舞胸⋯啊⋯嗯～出奶了黄

84.85MB

212好评

18🈲乳液叭叭
免费看裸体🔞🔞🔞网站51

欧美成人爽快片婬乱视频五十度灰

45.32MB

737好评

20岁胸又软又下垂
婷婷调教的视频丨ⅴk

雷电将军tk丨ⅤK

10.44MB

189好评

91在线无码精品㊙️漫画
真人被到爽奶头在线观看

申鹤被❌到爽🔞高潮痉挛网站

44.35MB

366好评

XXXX38馃崋馃崋HD
把腿张开老子臊烂你的sb

撕开女仆胸罩玩弄大胸动漫

91.34MB

202好评

痴梦少女动漫免费播放第一季
胡桃露小奶头❌的漫画

🌿我～慢点～好爽好大～

30.35MB

906好评

鱼神鱼裸体㊙️无遮挡胸视频
女子曲球

NNXN🇨🇳👙👙19

30.27MB

544好评

莉莉艾扒开腿做❌同人
触手～动漫～乳孔～大胸

metcn模特巫唐专辑

29.55MB

128好评

欧美❌❌❌⭕️⭕️免费亚
cekc女人♀️男人иДec

啊灬用力灬啊灬啊灬啊灬双性视频

70.43MB

456好评

雏田被鸣人爆❌羞羞动漫
芙宁娜被黄漫 title="8228澳门资料大全" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

免费羞羞网站视频

脱👙让学生C🐻-文章

详情
❤国产精品嫩草影院123 title="8228澳门资料大全" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

校🌸被校草吊起来摸双乳的作文

成人黄动漫网站❌免费视频

详情
12一15女人A片毛 title="8228澳门资料大全" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

4kTifa3Dlockchart

二次元cos被到爽羞网站

详情