LLMRec:推荐任务中的大语言模型基准测试
LLMRec 提出了针对 LLM 的推荐系统基准,在 ChatGPT、LLaMA 和 ChatGLM 等模型上评估了五项推荐任务。 测试结果显示,LLM 在基于准确率的序列和直接推荐任务上表现中等,但在基于可解释性的任务上性能可与 SOTA 方法媲美。 代码、处理数据和基准结果已公开,旨在推动研究者深入探索 LLM 在推荐领域的潜力。
LLMRec 提出了针对 LLM 的推荐系统基准,在 ChatGPT、LLaMA 和 ChatGLM 等模型上评估了五项推荐任务。 测试结果显示,LLM 在基于准确率的序列和直接推荐任务上表现中等,但在基于可解释性的任务上性能可与 SOTA 方法媲美。 代码、处理数据和基准结果已公开,旨在推动研究者深入探索 LLM 在推荐领域的潜力。
该研究提出MoE架构优化框架,在670+个模型上验证了计算预算与最优架构的映射扩展定律。 框架通过数学解耦将搜索空间从O(n^16)降至O(n^3)+O(n^2),揭示近优配置带宽随规模扩大的定量规律。 该成果为任意计算预算下设计最优MoE模型提供了可操作的工程蓝图。
提出非监督奖励建模方法 Next-token Preference (NTP),利用原始网页文本延续结构构建偏好对。 在 11M tokens 数学数据上训练,RewardBench 2 准确率较初始化提升 7.6-8.3 个百分点,无需人工标注。 显著降低对昂贵偏好标注的依赖,提升后续监督微调的标签效率。
LLM后训练中,直接优化Pass@k指标会导致Pass@1性能下降。这种权衡源于提示词干扰引起的梯度冲突:共享模型参数将不同提示词耦合,优化Pass@k会隐式增加低成功率提示词的权重,进而偏离Pass@1的优化方向。该理论结果已在数学推理和代码任务实验中验证。
认证机器学习遗忘通常通过校准噪声至最坏情况敏感度来实现,但针对单个训练点的高度异质性导致统一校准过于保守。 作者提出了认证的实例级遗忘框架,使遗忘机制和证书能够适应被删除的数据点,让噪声量反映删除难度而非最坏情况。 在确定性训练和岭回归的噪声梯度下降中推导了显式证书,NYU-Depth实验表明实例级校准相比统一校准可显著提升效用。
研究揭示大语言模型微调中的负向学习在不同算法和阶段扮演不同角色,如正则化或维持探索。 该研究引入了基于梯度的端点探测框架,并在不同任务中通过调节负向更新强度改善了微调性能。
研究人员提出了一种名为Byrd-NAFL的拜占庭鲁棒联邦学习算法。 该算法将Nesterov动量机制与拜占庭鲁棒聚合规则相结合,以提升通信效率并增强对恶意攻击的抵抗力。 实验证实,Byrd-NAFL在收敛速度、模型精度及抗恶意攻击能力方面均优于现有基准方法。
在基于 NVIDIA A100 的测试中,前向-only 算法中只有 Mono-Forward (MF) 比反向传播更节能;其余 FF 和 CaFo 能耗反而为 BP 的 3.0-7.1 倍。 在 3x2000 的多层感知机上,MF 比 BP 节省 12.5%-19.9% 能源和 24.6%-27.5% 内存,并在 CIFAR-100 上取得统计上相当的准确率。
提出 Spatial-Interactor 框架,通过 L1 被动、L2 主动及 L3 长时程交互课程训练视觉语言模型(VLMs),构建 LSI-108K 数据集以提升空间推理能力。 采用两阶段训练策略:先对 L1/L2 进行监督微调(SFT),再利用特权自蒸馏优化 L3 长轨迹推理,在多项空间基准测试中实现一致的性能增益。
研究指出平极小值并非泛化能力的普遍代理,尖锐极小值可反映提升预测行为的归纳偏置。 实验显示在单目标优化和分类任务中,几何性质依赖于目标函数,且正则化常伴随尖锐极小值出现。 该发现支持对极小值几何进行函数中心式的重新评估。
新提出的检索系统STAIR利用目录(ToC)等全局结构增强LLM的检索能力,显著降低幻觉率。 在由18本书组成的SearchTome基准测试中,STAIR的Recall@1达到82.6%,优于DSI(76.9%)、DPR(68.7%)等基线。 该系统展现了在低样本数据下的泛化潜力,为基于结构的检索研究提供了新方向。
研究提出上下文记忆度量化指标,精准解耦大语言模型中的死记硬背与语境学习。 实验证实最优语言学习无法完全避免记忆,不同训练串在不同训练轮次被记住。 提出记忆感知训练方案,通过动态降采样平衡学习并减少记忆,NeurIPS 2026 收录。
PASS 方法为 GRPO 设计了过程优势构建流水线,通过奖励通道归一化与信号分块优化策略更新。在 7 个数学基准测试中,PASS 使 pass@1 比仅结果监督提升 4.62 分,且响应长度减少约 2%。该方法在多重 QA 任务中验证了稠密监督与信用分配的联合效应。
对 OpenRCA、RCAEval 和 PetShop 三大微服务根因分析(RCA)基准中 16 种方法的审计发现,池化排行榜无法揭示方法在各子系统上的表现一致性。
提出 SGPO 方法,通过可复用的策略蒸馏替代轨迹模仿,在四个数学基准测试中平均得分比最强基线高 2.2 分(Qwen2.5-7B-Instruct)。 使用 token-level forward-KL 目标传输策略条件带来的分布偏移,并采用自适应实例级权重增强指导。 该方法比直接轨迹模仿更具选择性,且策略蒸馏能力与基础模型能力呈互补扩展关系。
研究团队推出 LATTEArena 框架,将 15 种 LLM 特征工程方法归纳为 6 维分类法。该框架通过 24 种核心配置进行评测,量化了 token 效率并得出 17 项实证发现。
LlMBO 提出一种基于贝叶斯优化的 LLM 微调方法,作为 TinyLoRA 中梯度法的有效替代。 该方法无需梯度、内存占用低,支持跨设备并行,并能直接优化贪心解码准确率。 在数学基准测试中,LlMBO 的性能可匹敌或超越 GRPO,且计算与内存开销大幅降低。
提出 ConMoE 框架,将 MoE 压缩解耦为专家池构建与负载分配两步,实现参数高效压缩。 利用无标签校准输入优化分配,在 50% 专家保留率下,峰值 GPU 显存降低 29.6%-48.4%,且 Macro Accuracy 提升 1.82 个百分点。 该结果确立了专家分配作为 MoE 压缩中独立的优化维度。
研究发现,语言模型的数值自报与其内部状态探针分数仅弱耦合,且提问会干扰被测量的状态。 研究覆盖 8 个指令微调模型(1B-27B 参数规模),自报分数对探针读数缺乏概念特异性,且这种可靠性不随模型规模扩大而改善。 因此,数值自报不应作为衡量模型内部情感状态(如福祉、兴趣)的可靠指标。
研究对比权重、过滤和条件化方法在 VLA 预训练中的作用,发现感知型条件化提升平均成功率,且基于标签的微调可进一步优化性能。 实验使用 5000 条次优人类演示和 24 个目标任务,涵盖 3 种 VLA 模型;真实世界中模拟预训练将成功率从 9.6% 提升至 31.7%。 该成果通过 AXIS-Bench 支持受控对比,为 VLA 模型的质量感知训练提供了可复现基准。
研究人员提出强化学习框架HD-RL,通过优化大语言模型的解释来校准人类决策,显著提升下游任务中的人类判断准确率。 在AI生成文本检测任务中,默认模型解释导致人类准确率仅为51.3%;应用HD-RL优化开源Qwen 3.6模型后,人类准确率达到63.7%,且超越RLVR等基线模型8%以上。
针对表格基础模型(TFM)在重复测量下表现劣化的问题,研究通过 6 个 TFM 的仿真与半仿真实验揭示,额外测量虽能提升已知输入的预测准确性,但会显著降低其他位置的预测性能。
作者提出 APT 框架,通过三个智能体协作,根据模型能力演变自适应生成后训练数据。 该框架协调构建评估集、诊断模型缺陷并生成强调弱项的强化学习提示,形成递归自我改进反馈环。 在多种基础模型、基准及架构上的实验证明,APT 具备模型、基准和架构无关性,且全流程自动化。
机器学习势函数(MLP)通常被认为准确性受限于训练方法。本文提出通过泛化到量子化学方法空间,构建“方法可迁移”的 MLP。 实验表明,基于密度泛函和波函数理论的实现证明,这些 MLP 的预测精度可以超过其所有训练方法。该方法将推动化学模拟中训练数据集的构建与模型评估方式,突破现有精度极限。
研究人员提出混合后见之明自蒸馏(H$^2$SD)方法,针对强化学习可验证奖励中奖励信号对token级信用分配指导有限的问题。在Sudoku、数学推理等任务中,H$^2$SD在两个Qwen3模型上实现43.33%的平均准确率,比最强基线高11.43个百分点。
PermaFrost-Attack框架通过隐蔽预训练种子(SPS)向LLM植入潜在不安全行为,其载荷微小且易被标准评估隐藏。 研究引入热力学长度、谱曲率及感染追溯图三种几何诊断方法,揭示该攻击在多个模型族中的持久性与隐蔽性。 SPS被确认为基础模型实际且被低估的安全威胁,为检测潜在模型漏洞提供系统性理论基础。
在数学 RLVR 训练中,分布锐化导致难题覆盖范围收窄。DAHS 和 BHA 方法通过条件化提示和长度桶退火,解决了教师-学生分布不匹配及无提示评估适应性问题。 该方法在 Qwen3 模型上提升了 AIME 的 pass@1 和 pass@2048 分数。 它有效缓解了 DAPO 框架下难题覆盖范围的收缩。
研究提出Enhanced Detective策略,通过结合MAD、距离过滤和FedMedian,在联邦学习中防御恶意客户端对金融欺诈检测模型的投毒攻击。 实验在50轮通信中模拟40%恶意客户端,该策略将AUPRC提升至0.796,Recall达0.847,有效维持了隐私敏感场景下的模型性能。
GUARD 框架提出一种结合数据归因的 LLM 遗忘方法,通过自适应非均匀权重分配缓解“非预期遗忘”,在 TOFU 基准上将 Retain Set 的 ROUGE-L 从 0.18 提升至 22.40,实现 124 倍性能恢复。
BenchHub 是一个将基准视为实例级属性分布的组成感知评估框架,旨在解耦模型能力与基准构成。 该框架整合 54 个基准、涵盖 10 种语言的 839K 样本,支持构建可控评估集以优化模型选择。 论文已被 NeurIPS 2026 接收,推动基准组成透明化与可检查的评估实践。
研究者分析 MoE 训练中专家负载波动问题,利用预测算法将负载分布状态从波动转向稳定,提升资源利用率。 针对 GPT3 350M 模型,预测未来 1,000 和 2,000 步的专家负载比例,平均误差率分别为 1.3% 和 1.8%。 该成果为 MoE 模型训练中的专家放置或资源分配提供了有效指导。
研究者发现大模型 API 浮点偏差加法存在数值侧信道,能恢复未披露的公共加性分量。 在 binary32 假设下,通过至多 52 次 token 查询即可精确恢复一对 logit 及其优先级。 利用 vLLM 和 SGLang 在 128 个 Qwen3-0.6B 输入上验证,该漏洞在 7 个模型族的 11 个检查点上均被复现。
研究团队提出了一种基于强化学习的客户端同步框架,用于解决边缘联邦学习中的同步瓶颈。 该框架将同步建模为资源感知控制问题,每个客户端根据本地进度和资源状态决定上传、下载或延迟通信。 实验表明,该策略在时空交通预测中降低了系统成本,在图像分类中提升了最终精度,证明了客户端控制优于纯服务器端协调机制。
研究发现,基于 LLM 的结构化标准抽取并非在所有情况下都优于思维链方法。 在两个 Reddit 语料库和 PHQ-9、BDI-II 量表测试中,前沿模型的标准抽取仅在有标签数据校准阈值时表现更好,且提升不显著;而 9B 模型在抑郁症社区语料库中表现相反,无标签的先验规则反而优于其直接提示和思维链结果。
MP-MNCA 框架在 12 个人体背外侧前额叶皮层切片中表现优异,在 ARI 和 NMI 指标上优于最强基线 STAIG。 该模型通过形态先验和自监督掩码邻居对比目标,以更少训练轮次收敛,平均峰值 ARI 为 0.546,平均 NMI 达 0.657。 研究证明该方法在加快空间域识别收敛速度的同时,未牺牲聚类质量。
SlideDP 是一款同步数据并行运行时,实现了超越 GPU 显存的全参数 LLM 微调。在匹配批量基准测试中,其吞吐量较 SlideFormer 等基线提升 1.46-2.64 倍。
Mira-Embeddings-V1通过LLM合成数据优化招聘领域的语义重排序系统,无需大规模人工标注。 该系统利用两轮LoRA适配及轻量级重排序头,在300个真实JD的测试池中,将Recall@50从68.89%提升至77.55%,Precision@10从35.77%提升至39.62%。 结果显示,结合边界感知重排序的LLM合成监督策略,无需重型交叉编码器即可获得稳健的性能提升。
论文提出双时钟框架,解释强化学习中可验证奖励训练里大 rollout 批次为何学习更慢却失败时点相近。 基于局部二次模型,平方根学习率规则保留每样本一阶漂移但不保留进度,大批次因更新次数少、曲率损失更大导致样本效率下降。 在 Qwen2.5-Math-1.5B 上的 GRPO 实验(16 倍批次范围)验证了漂移阈值假设,并推导出先低批后大批的多步 RLVR 调度策略。
TrustMOPD 提出一种标签无关、token 级别监督分配的多教师在线策略蒸馏方法,解决了动态适应性难题。 实验显示,该方法在 SingleCap 和 MultiCap 上分别填补了 91.5% 和 98.0% 的师生分数差距,优于最强基线。 其性能接近基于标签的蒸馏方法,且无需领域标签,代码已公开。
研究提出无数据、免训练的 SPACE 方法,利用预微调权重主子空间选择性回退微调更新,解决领域外能力退化。 该后处理技术适用于 Qwen2.5、Llama-3.1 等 2B 至 14B 模型,在数学任务中显著提升了模型表现。 例如 Qwen2.5-7B 在数学领域的领域内与领域外分别平均提升 2.85 和 2.26 分。