测量多语言 LLM 推理能耗:揭示语言间能源鸿沟
这项研究揭示了多语言 LLM 推理中的显著能源鸿沟,不同语言间单位 token 能耗差异高达 8.3 倍。 固定请求集的总能耗差异达 179 倍,英语最低(17.6 kJ)而普什图语最高(3,147 kJ),且高能耗语言通常任务准确率更低。 研究建议社区将能源纳入一级评估指标,扩展模型卡报告项,并采用部署侧优化以提升能效。
这项研究揭示了多语言 LLM 推理中的显著能源鸿沟,不同语言间单位 token 能耗差异高达 8.3 倍。 固定请求集的总能耗差异达 179 倍,英语最低(17.6 kJ)而普什图语最高(3,147 kJ),且高能耗语言通常任务准确率更低。 研究建议社区将能源纳入一级评估指标,扩展模型卡报告项,并采用部署侧优化以提升能效。
论文提出 $d_{\text{NTP}}$ 度量以量化任务向量与上下文学习在下一 token 概率上的差异,并指出其与下游准确率呈强负相关。 作者基于此设计线性任务向量(LTV)方法,通过闭式线性映射最小化该度量。
提出电商生成式检索框架CQ-SID与强化学习算法EG-GRPO,作为召回阶段补充。 TmallAPP日志显示,CQ-SID使语义点击命中率提升26.76%,个性化点击命中率提升11.11%,且光束搜索规模减半。 在线A/B测试证实GMV提升1.15%,生成式召回渠道贡献超72.63%的购买。
SKYPART作为轻量级模块,在SUES-200等基准上实现单次检索无重排的SOTA性能,其26.95M参数量为对比中表现最佳的最小模型。 该方法通过可学习原型、海拔条件调制及图注意力读出机制,使模型在十种WeatherPrompt腐败条件下精度优势进一步增加。 论文已被Neurips 2026接收,代码已开源,为低空经济中GNSS失效场景下的无人机自主定位提供了可靠替代方案。
研究揭示视觉语言模型(VLMs)在多行手写数学 OCR 中存在过度修正失败模式,提出 PINK 指标以 LLM 评分并惩罚此类错误。 对 FERMAT 数据集上 15 个 VLMs 评估显示排名反转,GPT-4o 因激进修正受重罚,Gemini 2.5 Flash 转录最忠实。 PINK 与人类判断一致性达 55.0%,优于 BLEU 的 39.5%,为教育评估提供更可靠框架。
WHBench 基准包含 47 个专家定制场景,评测 22 个模型在女性健康领域表现。 使用 23 项标准评估,3100 个有效响应中最高分仅 72.1%,无模型均值超 75%。 基准公开,旨在追踪更安全、公平的女性健康 AI 进展。
提出 MACE 框架,通过 MCTS 引导的对抗协同进化提升 LLM 安全对齐。该框架包含 GS-MCTS 搜索组件与 AC-TGPO 优化组件,实现攻击者与防御者的策略学习。
基于双期博弈模型,研究发现随着模型使用带来的经验学习增强,基础模型的最优开放策略呈先降后升的非单调特征。 模型使用者在 incumbent 模型上积累的特定经验形成数据飞轮,降低后续适应成本,从而促使 incumbent 在初期限制开放性以留存用户。 当跨模型经验不可转移时,可能因福利损失产生“开放性陷阱”,而强制全面开放或小额使用补贴可能反而推高费用并降低整体福利。
summary_zh: TAR框架引入时间锚点(T-anchor)机制,通过渐进式精炼链式推理(CoT)并强制中间思考对齐视觉证据,显著提升推理忠实度与最终预测准确性。
QUTCC提出一种基于U-Net架构的分位数回归方法,实现非线性、空间自适应的保形校准,提供像素边际覆盖保证。 该方法在去噪、加速磁共振成像及定量相位显微成像任务中,于相同覆盖率下生成比先前保形方法更紧的不确定性区间,并预测条件概率密度。 高不确定性区域有助于定位模型预测中的幻觉现象。
研究探索利用大语言模型将非正式导航指令转化为答案集编程规则,解决自动驾驶在动态城市环境中依赖预定义地图导致的适应性难题。 答案集编程提供非单调推理能力,使车辆能在道路布局变化或地图数据缺失时进行自适应决策,增强了导航的可解释性。 该方法通过自动翻译逻辑规则支持基于语义的决策制定,提供了与人类沟通导航意图高度一致的动态规划框架。
研究揭示低损失区域不对齐是引发 Grokking 的关键机制,并在标准模块算术任务中构建了“反-Grokking”反例,挑战了现有关联解释。 基于模态连通性的分析框架表明,当训练与验证划分的低损失区域对齐良好时,仅调整超参数无法产生 Grokking,模型动态将坍缩为可训练或不可训练状态。
现有 root cause analysis 评测使用 top@k accuracy 混淆了检索失败与重排序失败,研究通过分解方法审计四个基准并发现统计基线在工业 CPS 基准中 79-100% 时间误排真实原因。
预训练视觉表征的几何结构支持抽象推理,直觉向量能区分794项任务,准确率最高达87.2%。 直觉向量在ARC测试集上性能优于完整示范条件,测试时计算量减少近六倍,并支持零样本推理。 预训练视觉表征为抽象推理提供了可迁移的基础,实现了由关系结构引导生成式推理的模块化方法。
研究提出 Agentic In-Context Learning (Agentic ICL),构建因果 Transformer 近似主动学习、bandits 及在线 RL 算法。 通过蒸馏实验验证 Transformer 能执行三种递归,发现优化过程奖励可保持最大化最终结果的行为策略。 研究指出改进过程监督与结果最优动作偏好的一致性,会改变预训练语言模型在文本复述下的决策行为。
研究提出 Dandelion,一种基于球面谐波域层级池化的球形神经网络 PDE 求解器,通过大圆传输特征避免笛卡尔卷积畸变。 该架构在包含修正 Galewsky 喷流、球形 Riemann 激波等 6 类数据集的基准测试中,除一项外均取得最优性能,预测物理一致性最高。
有限候选池因远离主动约束边界,限制了代理辅助设计效能。 研究显示,连续约束 EI 使电磁线圈响应升至 0.9745 mT,热阻降至 11.905 K/W。 LogEI 性能更优,达到 0.9770 mT 和 11.860 K/W,验证了连续搜索优势。
Mingbird 是一个开源的本地优先 Agent 框架,旨在让运行在消费级显卡上的 1 至 90 亿参数小型开放模型能够完成多步骤任务。该框架包含 1.2 万行 Python 代码和 18 种机制,通过执行可检查的控制逻辑来防止模型误报任务完成。
研究指出神经组合优化求解器中,均匀分布工作负载下的非均匀预算分配增益实为抽样偏差。 三个预训练求解器(POMO, AM, SymNCO)在分布内样本中报告2.2%-2.6%的伪增益,分布偏移下真实增益达11.5%。 文章发布纠正程序、报告清单及全部代码与预注册记录。
summary_zh: Code4Scene 基准包含 170 个 Unreal Engine 案例,评估 14 个编码智能体在 3D 场景构建与编辑任务中的表现。
Localized LoRA-MoE 提出结合空间分块与上下文条件专家路由的框架,解决 LoRA 训练中的梯度干扰。 架构包含中心化与去中心化两种变体,在结构化基准中优于静态基线;在 Qwen2.5-1.5B 模型上,去中心化路由比 LoRA 高 3.9 分,匹配 6 倍预算的专用适配器效果。
PhysAlign 是一个评估多模态模型在物理图解中是否正确关联视觉信息与物理角色的基准,包含 3,341 个人工验证探针和 986 道物理问题。 基准通过局部探针和受控变体分离视觉识别与角色分配,引入包括 CAcc、GAcc 和 JAcc 在内的五种互补评估指标。
研究表明 Qwen3 0.6B-8B 模型在持续记忆代理中易依赖过时信息,Benefit 套件中依赖度达 0.92-1.00。 Llama-Instruct 交叉验证及 RGB、MisBench 实验支持该结论,且元数据与预解析可提升准确率。 结果发表于 NeurIPS 2026 PALM 研讨会,揭示线索依赖性脆弱性但未评估完整记忆生命周期。
针对理论级自动形式化难题,该研究提出独立基准 LCS-Bench。它基于《计算机科学逻辑》构建,包含 327 个教材条目及 4,076 个 Lean 声明。 采用半自动智能体流水线生成,涵盖 85K 行代码,并支持 5 条评测轨道。
研究提出 CEMMKG 框架,通过多粒度设计在局部和全局范围内为图像补充文本上下文,解决现有 MMKG 处理方法中图文语义鸿沟导致的 GraphRAG 性能瓶颈。 局部上下文不仅包含图像周围文本,还引入语义相关句子;全局上下文提供全文摘要。多数据集实验表明,该框架能有效利用上下文信息提升基于 MMKG 的 RAG 性能,且适用于不同的 RAG 方法。
现有智能体系统离线评估多将轨迹简化为二元成功值,导致约 75% 实例出现平局,降低统计效率。 提出的偏好轨迹评估法通过比较不同时刻的回报分布直接对比轨迹对,将平局率降至约 35%。 该方法提升了区分度与排序稳定性,表明基准测试饱和现象可能源于评估指标设计而非数据或难度问题。
EMRD框架提出了一种评估视觉语言模型在关键安全场景下探索、映射、记忆和决策能力的基准测试方法。该框架将空间推理分解为四个阶段,并使用18个指标对11个开放和闭源VLM进行了评估。 实验在16栋建筑中进行,包括三种环境压力。结果显示,开放权重模型在95%的案例中未能访问所有房间,而闭源模型在添加外部记忆后表现更佳。 该基准测试为评估VLM在具身智能控制中的可靠性提供了重要工具。
FoundCause 提出了一种仅用合成结构因果模型训练的摊销因果发现基础模型,通过单次前向传播将数据集映射为因果图。模型采用置换等变 Transformer,结合成对依赖统计量引导注意力机制,并显式预测潜在混杂因子对。在 14 个数据集上,FoundCause 在归一化结构汉明距离(SHD/d)上显著领先(0.875 vs 0.956),且在双变量因果关系预测中表现最佳。
研究提出Graph Cascades介观重连策略,优化图神经网络(GNN)和图Transformer(GT),捕捉中间尺度图结构。 算法通过固定级联参数的传播扩散,在O(|V|+|E|)时间内构建稀疏辅助图,将多跳强化的节点对提升为直接邻居。 理论分析了强化重连提升标签对齐度的充分条件,实验显示该方法在异质性及中等至高程度的同质性图上带来最可靠性能提升。
研究者提出 SKMD 采样方法,通过交互粒子动力学为机器学习原子间势(MLIP)获取信息丰富的训练构型。 该方法采用全局原子描述符内核以感知对称性,保持 Boltzmann 分布为平稳分布,并在 Müller-Brown 势能、MACE 模型等案例中,比基线方法以更少迭代次数实现更高精度。
TTCov 提出了一种数据级测试条件筛选方法,利用训练前的测试端信息而非推理时的权重更新。 该方法构建 LLM 原子命题任务 Atlas 和知识 Atlas(K-Atlas),将部署分布转化为筛选目标,在自动驾驶领域实现优于基线模型的端到端驾驶性能。
针对预训练表示作为噪声代理协变量且标签稀缺的场景,研究提出一种半监督回归两阶段估计器。 该估计器利用所有代理协变量学习核特征,并在有标签数据上拟合岭预测器。 理论推导显示,当代理扰动可控且无标签样本充足时,可恢复快速样本收敛率,实验在低标签场景优于基线。
提出切片分布强化学习(SDRL),通过投影将一维散度扩展至多变量回报分布,并在单一标量折扣下证明均匀切片的 Bellman 收缩性。 方法引入最大切片变体以支持通用稠密折扣矩阵,分析 Wasserstein、Cramér 及 MMD 散度,在 Atari 等环境完成评估,文章发表于 ICML 2026。
研究发现随机未训练神经网络在早期视觉皮层表征相似度上不逊于训练网络,挑战了学习提升脑对齐的假设。 通过追踪四种学习规则的训练过程,发现单次训练即导致 V1 对齐降低 25-90%,其中反向传播(BP)影响最严重(delta r = -0.080),而预测编码(PC)和 STDP 保留更多。
提出 Latent Q-Barrier Shielding 方法以改善安全上下文强化学习(ICRL)在分布外(OOD)部署中的表现。 该盾牌在部署前学习上下文表示、潜在动力学及集成成本评估器,无需参数更新即可筛选候选动作。 在 5 个安全 ICRL 基准测试中,该方法在 4 个基准测试中实现了更高的回报,且在全部 5 个基准测试中保持或降低了平均单集成本。
BBO-Pile 是首个开源数据集,包含 3,095 个任务中评估的超过 50 万个优化轨迹。 使用 BBO-Pile 训练了参数量从 2M 到 80M、训练 token 数从 2 亿到 20 亿不等的一系列基础模型,并研究了其随算力的扩展行为。 大规模预训练被证明是模仿超参数优化方法的一种可行且有效的方法,为未来研究铺平了道路。
提出 RelPrism,一种针对关系数据库(RDBs)的多视角自监督学习框架,通过构建内在、关系及混合属性并结合多粒度聚类生成伪任务池,提升下游任务适应能力。 在 5 个真实数据集的 14 项任务实验中,RelPrism 相比最先进基线将分类任务的 ROC-AUC 提升 4.15%,并将回归任务的 MAE 降低 10.75%。 代码已公开,为关系型数据系统的预测任务提供了更强的预训练基础。
非参数对比框架 PEARL 通过建模相对偏好信号消除用户行为强度偏差,无需辅助分布估计模型。 在线 A/B 测试显示,该框架在数亿用户规模的直播平台部署后,观看时长提升 2.10%,报告率下降 6.91%。 已被 KDD 2027 ADS Track 接收,验证了其在大规模推荐系统中的有效性与鲁棒性。
研究人员提出可扩展的类优化任务族 OPT*,包含可行性检查器与评估器,通过复杂度参数扩展 LLM 的搜索空间。 该框架对比了求解器引导的在线策略优化(使用 rank-based reward shaping)与无求解器时的搜索型离线 RL,并在理论层面关联了搜索预算下的信息提取效率。 在 OPT* 上的训练被证明能提升 LLM 逐步类优化推理的表现。
CardioLoom 基于 2,781,289 个心电图报告对在 1,298,359 名患者中完成预训练,覆盖 89 项评估目标与 9 个外部队列。 在 45 项内部心电图诊断中,其宏观 AUPRC 为 0.624,高于 DeepECG-SSL 的 0.615;仅用 10% 标注患者即可达到 0.559 的宏观 AUPRC,超过全量监督训练的 0.549。