摘要
MoEMB 用 MoE 编码器扩容通用多模态嵌入模型，同时保持单向量、非自回归编码——首次系统研究 MoE 嵌入器的自适应计算（训练与推理）。仅 3B 激活参数，它在公开 MMEB 系数据训练的模型中于 MMEB-V2 与 MRMR 创下新 SOTA，超过激活参数 4 倍以上的 Think-Then-Embed 类方法。
为什么重要
对延迟敏感的检索服务，这是多模态嵌入的效率路径：容量经专家轴扩展，不付自回归推理的成本——与 GLM-5.3-Flash / Qwen Flash-Next 在 LLM 上做的取舍同款，搬到嵌入器上。
技术细节
| ArXiv | 2609.08663（9 月 9 日周三 digest，2026-09-10T00:00Z 宣告） |
|---|---|
| 设计 | MoE 编码器；单向量、非自回归；首次系统研究 MoE 嵌入器的自适应计算 |
| 结果 | 3B 激活参数；公开 MMEB 系训练模型中 MMEB-V2 + MRMR SOTA；超过激活参数 4 倍以上的 Think-Then-Embed |
| 代码 | 摘要未提及 |
标签
embeddingsmultimodalmoeretrieval