ULME提出预测耦合框架统一嵌入与语言建模

研究人员Yang Liu、Zhiqiang Yuan等人提出了ULME框架，这是一种基于因果解码器架构的后训练方法。该框架通过引入可学习槽位和联合损失函数，旨在解决嵌入与语言建模任务的分离问题，实现两者的真正统一。 ULME框架在Qwen2.5和Qwen3模型家族上进行了实验验证，覆盖0.5B至8B参数规模。实验结果展示了预测耦合机制的有效性，通过联合优化使得模型在保持生成能力的同时，显著提升了嵌入任务的性能，实现了任务间的相互增强。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。