MultiInpaintCOCO:多语言细粒度视觉理解基准
研究提出 MultiInpaintCOCO 基准,将 InpaintCOCO 扩展至 13 种类型学多样的语言,包含 953 个最小对样本。 该基准涵盖五大语系,测试了轻量级 VL CLIP 类编码器与大型语言模型在跨语言检索中的表现。结果显示低资源语言性能显著下降,且多数模型表现出对英语的系统性偏好。
研究提出 MultiInpaintCOCO 基准,将 InpaintCOCO 扩展至 13 种类型学多样的语言,包含 953 个最小对样本。 该基准涵盖五大语系,测试了轻量级 VL CLIP 类编码器与大型语言模型在跨语言检索中的表现。结果显示低资源语言性能显著下降,且多数模型表现出对英语的系统性偏好。
XDecideBench 发布涵盖 122 种语言、88,425 条文本的跨语言类型化决策模型评测基准。 三个开源微调模型在 12 种开发语言中全面超越基座 Qwen 模型,且在低资源语言中准确性增益更大。 结果显示英语最佳模型在约 1/4 组合中落后,且基于英语设定的 5% 置信度阈值在其他语言中失效。
研究表明,即使经过大量剪枝,部分大语言模型在匹配采样预算下的 pass@k 推理覆盖率仍能达到或超过原始模型,尽管其 pass@1 有所降低。 在严重剪枝下,生成多样化的思维链(CoT)轨迹的同时,重复率增加且生成可靠性下降,导致正确解法更难采样,总 token 使用量可能大幅上升。 该发现强调评估剪枝效果需同时考量模型可解决问题的范围及获取正确解法的采样成本。
提出 Chess-World-Model 基准,包含 1000 万局真实对局及随机测试集,用于评估模型在合法移动序列后的精确棋盘状态追踪能力。 测试因果 Transformer、SLiCE、Mamba-3 和 Gated DeltaNet,在 300 万至 4300 万参数规模下,循环模型性能显著优于 Transformer。 该基准能揭示模型规模增长通常掩盖的状态追踪失败。
该研究通过流映射视角分析一致性模型,揭示导致退化解的训练与收敛机制,并提出改进的自蒸馏方法 iSD 及其变体 iSD-T。 iSD 重新表述目标函数以避免过大的梯度范数,iSD-T 进一步结合无分类器引导以提升性能与可复现性。 论文证明该方法不仅适用于图像生成,还可扩展至基于扩散的策略学习,且无需依赖预训练扩散模型初始化。
AnySleep 是一个深睡分期系统,支持任意电极配置,能实现跨中心的高分辨率睡眠研究。 模型基于 20,000 多项整夜记录(>200,000 小时 EEG 和 EOG)训练和验证,涵盖 28 个数据集。
EventGPT 在 MBD-mini 数据集上完成下一事件预训练,无需标签即可预测未来事件概率。 模型基于 100,224 名客户和 3,880 万笔交易训练,在 L4 GPU 上耗时约 2 小时,使用 8,192 tokens 窗口;对五类“首次交易”目标的 ROC-AUC 达 0.79–0.92。 预训练权重与代码已开源。
在北欧9个交易区的96小时碳强度预测中,Timestral-5M、Timestral-209M和Chronos-2三个零样本模型在2025年测试上(361个每日起点)的分区平均MAPE均比SARIMA和GBM低0.952至1.347个百分点。
研究发现增加数据库数量可能降低材料发现效率。带隙战役中,前半个预算期,7 个源合并排名(秩相关 0.737)劣于最优 3 源池(0.851)。 语言模型智能体团队表现低于随机选择基准(均值 0.876,标准差 0.096,20 次搜索)。
研究团队发布 BanglishDepYT 数据集,包含 191,000 条未标记 YouTube 评论。提出 EPH 预处理与 DAPT 方法,SahajBERT 模型 F1 达到 0.8161。
对 LLaMA-3.2-1B 等四个 1.2B 级小模型深度剪枝后,函数调用和数学推理能力均严重受损,保留率仅为 0.00 至 0.07。 在修复策略上,对最后三个块进行全量微调比全块使用 LoRA 平均保留率高达 0.18。测试发现,均匀修复策略在同等 3.48M 令牌预算下往往优于规划式修复。
深度学习推动16位、8位及4位低精度浮点格式取代传统的32位和64位标准。 文章分析了这些窄格式在精度和范围受限下的发展原因及标准化努力。 这一趋势旨在满足深度学习对计算效率的需求。
研究提出一致性的等价条件,证明只要真实数据占比不为零,即使随迭代减少,模型崩溃也可避免。 在收敛速度方面,随着真实数据占比趋近于零,均值估计的收敛率会恶化。该理论通过迭代扩散模型在 CIFAR-10 上的实验得到验证。
研究提出 DDEL 框架,通过将集成学习的反馈信号回传至数据蒸馏过程,实现两者的闭环相互增强。 框架采用分布匹配技术配合包含3个同质成员的集成模型,在 ISIC 2019、I-SPY1 和 NSCLC 数据集上进行初步实验验证。
研究发现 CLIP 微调中的零样本遗忘可通过未标记目标图像预测。注意力熵在固定配置内与遗忘强相关(平均 |ρ|=0.860),但符号依赖数据集与方法;CKA 在跨配置比较中排序效果更优(ρ=0.960)。
Muon 在大模型预训练中较 AdamW 有优势,但当预训练数据规模足够大时,微调后 AdamW 表现反超 Muon,且模型尺寸越大,该逆转发生所需的 token-参数比越小。
研究发现 RLVR 在分布外(OOD)任务中常因模型放弃推导而失效。 该方法通过非双射方程求解框架验证,共训练双射求逆任务可显著恢复模型精度。
研究提出名为 FADE 的双线性状态空间滤波器,通过解耦策略能力与题目难度两个时间尺度,优化基于可验证奖励的强化学习调度。 该方法利用 Pólya-Gamma 增广法,在二元 rollout 结果下通过 rank-K Woodbury 步骤闭式更新能力后验,并推导非退化分组概率的效用函数。 在五个推理基准测试中,FADE 在匹配预算下提升下游准确率与校准,每步计算开销增加不足 0.6 ms。
RLVR 训练使 OLMo-2-1B 在 GSM8K 的首次尝试准确率从 58.0% 升至 61.3%,但 256 次采样的解题覆盖率仅从 94.5% 微增至 96.9%。 内部探针检测推理错误的 AUROC 保持在 0.798 至 0.840 之间,显示模型未建立更清晰的错误表征;仅在最终答案 token 处探针达到 0.93 AUROC,证实 RLVR 改变的是答案选择偏好。
提出边界边缘化方法,首次实现自回归语言模型基于舍入、有界及截断数值标签的精确似然训练。 该方法通过固定宽度且保持顺序的数字表示分组连续网格值,利用至多两个长度对数级的边界路径计算精确概率与梯度。 实验表明,该方法可从舍入和截断报告中恢复条件分布,在支持一百万数值时仍能保持计算可行性。
针对重参数化下梯度不可靠的问题,研究人员提出GRR测试框架,并发现梯度排序与剪枝决策会随参数坐标变化而改变。 在66项GLUE注意力审计中,原始头部梯度排序的前3名重叠中位数仅为1/3;在最大规模的14项全局剪枝审计中,受影响的ELECTRA模型验证精度分别达50.92%和94.84%。
非凸 Burer-Monteiro 低秩矩阵感知中,Adam 优化器的失效边界受自生成动力学下限约束。 实验发现当初始 epsilon 低于 10^-8 时失效边界保持平坦,warm-started L-BFGS 可达机器精度。 拟合参数 epsilon_dyn = 4.76x10^-9 预测 D>=4 时的失效边界,降低学习率 alpha 可直接降低下限。
利用高维渐近分析,CoT 监督在长时程推理中存在依赖上下文长度的相变。 研究区分了错误积累与错误放大两种机制,显示增加训练 CoT 预算可能先加剧长时程错误后趋于稳定。 结果提供了理论解释,为设计支持稳定推理的教师 CoT 提供了指导。
研究提出可解释稀疏二值编码(ISBC),从冻结文本嵌入中学习少量无标签二值维度,无需类别标签或下游结果。该方法结合可训练编码器与仿射解码器,通过重建及活跃度、因子利用率等控制项,利用比特及其组合识别文档重叠群组。 实验在混合领域语料库中验证,高频二值特征主要标识来源集合,而特定组合可揭示情感与迁徙差异;二值特征单独即可提升对数变换结果预测,其组合能识别与互动相关的活动内容对比。
研究人员提出 GRAPE 在线学习框架,解决半导体制造中因设备退化导致的时间分布漂移问题,显著提升了虚拟计量模型的鲁棒性。 该框架集成稳定全局预测器与两个轻量级流式适配器,通过在线更新修正特征级和环境级偏移。 在包含时间顺序留出盲测流的两个真实数据集上,GRAPE 的性能优于传统批量学习及现有在线学习基线。
研究利用层级生成参考数据评估概率预测模型在粗粒度观测下的表现。 发现标准扩散模型和随机插值器存在显著分布误差,级联短程预测在湍流和波浪中能大幅降低误差。 提出了可解析的解析模型,表明最优级联深度取决于未分辨尺度与观测尺度间的耦合强度及预测依赖性。
研究提出GateTrim,一种通过门控优化学习矩阵特定秩的自适应秩后训练量化方法。 在W4A8精度下,对Qwen3和Llama系列模型测试发现,将阈值从0.3提高至0.7使平均保留秩降低46.60%--67.89%,同时WikiText-2困惑度降低0.59%--5.17%。
研究表明,在360M至3.1B参数规模下,LLM预训练中的行正交性约束未能在球面优化基础上带来额外收益。 系统测试14种正交变体发现,对称正定因子仅在小模型有效,且下游准确率未区分不同参数化方法。 作者重新检验5项先前的正交性改进研究,发现其增益归因于数值精度或优化器实现,而非正交性本身。
SFTProbe 通过直接预测推理数据质量,将 SFT 数据筛选时间从数周缩短至数小时。该方法基于 LoRA 适应,仅需评估 5% 的推理轨迹损失即可估计难度与多样性。在数学推理任务中,5k 生成样本匹敌 OpenThoughts-Math 的 89k 样本,7.5k 样本准确率提升 2.5%。
该研究推导了有限步长随机梯度下降的随机学习流连续时间方程,在Gaussian闭包下描述参数均值与协方差演化。 方程表明协方差在曲率2/eta处失稳,SGD下比梯度流更精准捕捉学习曲线与均值轨迹。 全批次极限下该动态自洽恢复边缘稳定与中央流。
团队提出名为 OCELOT 的多模态隐式神经表示网络,融合空间坐标与卫星基础嵌入,基于 20 亿条 GBIF 记录和 10 万个类群进行训练。 该模型在 600 公里空间块保留测试中,卫星嵌入使地理外推性能较仅用坐标的模型提升 51%,并在标准插值基准上匹配或超越现有基线,证明优化外推未牺牲分布内精度。
KINDER通过随机傅里叶特征空间移除敏感属性信息,实现公平表征学习。 它基于受保护组原型估计敏感子空间,并将表征投影至其正交补,适用于任意深度模型和任务类型。 KINDER在监督、自监督及多模态任务中验证有效,代码和模型已公开。
ProLand 提出一种无回缩优化器,结合 Muon 风格谱方向与 Stiefel 流形上的 Landing 方法,解决 LoRA 微调中基向量冗余问题。 在 DeBERTa-v3-base 及 Qwen2.5-3B 等 11 项任务中,ProLand 在所有测试配置下取得最高平均分。
视觉编码器能在去除颜色的灰度图像中解码典型颜色信息,且该信息与其预测的物体身份存在概念联系。 扩展分析显示,完整视觉语言模型(VLM)的后训练对编码器的颜色可解码性有巨大影响。 典型颜色由此成为追踪视觉模型内部物体级概念语义信息的有效且可控的透镜。
研究发现功能兼容性是神经网络新学习能否持久的关键因果因素。 实验在相同初始状态下改变兼容性,结果显示在卷积、Transformer 架构及视觉文本任务中,持久性随兼容性增加。 该发现将稳定性-可塑性研究重心从防止遗忘转向确定哪些新学习能与现有功能共存。
提出 SAFE-SVD 方法,通过敏感性感知保真强化 SVD 压缩物理基础模型。 该方法显式建模输出函数空间中的损失感知层敏感性,以保留物理保真度。实验表明其实现了更高压缩比且维持精度,部分案例提升达数量级。
该研究提出层级感知多模态遗忘基准MedForget与免训练方法CHIP。 CHIP通过选择性移除目标权重子空间并保留共享信息,实现最高遗忘保留差距。 这为在保护隐私的同时维持临床任务效用的医疗AI数据删除提供了有效方案。
论文提出无训练预测器 Forget-Retain Alignment Gap (FRAG),通过评估更新中遗忘关键权重与保留关键权重的对齐程度,比全局权重位移更可靠地预测 LLM 机器遗忘的鲁棒性。 研究基于遗忘关键、保留友好的原则,提出 Forget-Retain Pruning (FRP) 技术以增强模型抗重学习能力,结果表明权重选择性比单纯距离更能解释鲁棒性。
针对视觉语言模型(VLM)在强化学习训练中因忽视视觉证据导致推理不稳定问题,提出“Faithful Warm-Start (FWS)”策略。 该策略通过六个通用 VQA 基准构建 FaithfulQA 数据集,利用 VLM 裁判确保因果一致性,在稀疏奖励 RL 前提供视觉接地预热。 实验证明 FWS 提高了答案准确率,稳定了 RL 训练过程,并显著减少了缺乏视觉支持的推理链条。
ReClaim 是基于 MarketScan 数据库 438 亿条索赔记录构建的医疗基础模型,在超过 1000 种疾病的预测中平均 ROC-AUC 达到 0.769。该模型在预测下一年度支出和识别高需求高成本受保人方面均优于梯度提升模型,且其表征作为协变量时能改善随机对照试验基准下的效应估计。
推荐理由:原文给出了438亿条医疗索赔数据训练基础模型的方法,读者可据此理解其在真实世界疾病预测中的表现。