跳到正文
10月14日周三
  1. arXiv · AI20

    LLMRec:推荐任务中的大语言模型基准测试

    LLMRec 提出了针对 LLM 的推荐系统基准,在 ChatGPT、LLaMA 和 ChatGLM 等模型上评估了五项推荐任务。 测试结果显示,LLM 在基于准确率的序列和直接推荐任务上表现中等,但在基于可解释性的任务上性能可与 SOTA 方法媲美。 代码、处理数据和基准结果已公开,旨在推动研究者深入探索 LLM 在推荐领域的潜力。

  2. arXiv · ML30

    基于个体敏感度边界的认证实例级机器学习遗忘

    认证机器学习遗忘通常通过校准噪声至最坏情况敏感度来实现,但针对单个训练点的高度异质性导致统一校准过于保守。 作者提出了认证的实例级遗忘框架,使遗忘机制和证书能够适应被删除的数据点,让噪声量反映删除难度而非最坏情况。 在确定性训练和岭回归的噪声梯度下降中推导了显式证书,NYU-Depth实验表明实例级校准相比统一校准可显著提升效用。

  3. arXiv · ML28

    前向-Forward (Forward-Forward)、Cascaded Forward (CaFo) 和 Mono-Forward (MF) 算法在硬件验证基准测试中的能效分析

    在基于 NVIDIA A100 的测试中,前向-only 算法中只有 Mono-Forward (MF) 比反向传播更节能;其余 FF 和 CaFo 能耗反而为 BP 的 3.0-7.1 倍。 在 3x2000 的多层感知机上,MF 比 BP 节省 12.5%-19.9% 能源和 24.6%-27.5% 内存,并在 CIFAR-100 上取得统计上相当的准确率。

  4. arXiv · AI34

    Spatial-Interactor:通过物理世界交互学习空间推理

    提出 Spatial-Interactor 框架,通过 L1 被动、L2 主动及 L3 长时程交互课程训练视觉语言模型(VLMs),构建 LSI-108K 数据集以提升空间推理能力。 采用两阶段训练策略:先对 L1/L2 进行监督微调(SFT),再利用特权自蒸馏优化 L3 长轨迹推理,在多项空间基准测试中实现一致的性能增益。

  5. arXiv · AI22

    SGPO:面向 LLM 推理的策略引导策略优化

    提出 SGPO 方法,通过可复用的策略蒸馏替代轨迹模仿,在四个数学基准测试中平均得分比最强基线高 2.2 分(Qwen2.5-7B-Instruct)。 使用 token-level forward-KL 目标传输策略条件带来的分布偏移,并采用自适应实例级权重增强指导。 该方法比直接轨迹模仿更具选择性,且策略蒸馏能力与基础模型能力呈互补扩展关系。

  6. arXiv · ML30

    LlMBO:利用贝叶斯优化微调 LLM

    LlMBO 提出一种基于贝叶斯优化的 LLM 微调方法,作为 TinyLoRA 中梯度法的有效替代。 该方法无需梯度、内存占用低,支持跨设备并行,并能直接优化贪心解码准确率。 在数学基准测试中,LlMBO 的性能可匹敌或超越 GRPO,且计算与内存开销大幅降低。

  7. arXiv · AI23

    ConMoE:将 MoE 压缩重构为专家选择与功能分配

    提出 ConMoE 框架,将 MoE 压缩解耦为专家池构建与负载分配两步,实现参数高效压缩。 利用无标签校准输入优化分配,在 50% 专家保留率下,峰值 GPU 显存降低 29.6%-48.4%,且 Macro Accuracy 提升 1.82 个百分点。 该结果确立了专家分配作为 MoE 压缩中独立的优化维度。

  8. arXiv · AI28

    语言模型数值自报无法可靠衡量其内部状态

    研究发现,语言模型的数值自报与其内部状态探针分数仅弱耦合,且提问会干扰被测量的状态。 研究覆盖 8 个指令微调模型(1B-27B 参数规模),自报分数对探针读数缺乏概念特异性,且这种可靠性不随模型规模扩大而改善。 因此,数值自报不应作为衡量模型内部情感状态(如福祉、兴趣)的可靠指标。

  9. arXiv · AI20

    质量感知 VLA 预训练:AXIS-Bench 基准与实证研究

    研究对比权重、过滤和条件化方法在 VLA 预训练中的作用,发现感知型条件化提升平均成功率,且基于标签的微调可进一步优化性能。 实验使用 5000 条次优人类演示和 24 个目标任务,涵盖 3 种 VLA 模型;真实世界中模拟预训练将成功率从 9.6% 提升至 31.7%。 该成果通过 AXIS-Bench 支持受控对比,为 VLA 模型的质量感知训练提供了可复现基准。

  10. arXiv · ML40

    强化学习校准LLM解释以提升人类决策:HD-RL框架在AI文本检测中的应用

    研究人员提出强化学习框架HD-RL,通过优化大语言模型的解释来校准人类决策,显著提升下游任务中的人类判断准确率。 在AI生成文本检测任务中,默认模型解释导致人类准确率仅为51.3%;应用HD-RL优化开源Qwen 3.6模型后,人类准确率达到63.7%,且超越RLVR等基线模型8%以上。

  11. arXiv · AI28

    APT:面向文本到图像生成的反馈驱动智能体后训练

    作者提出 APT 框架,通过三个智能体协作,根据模型能力演变自适应生成后训练数据。 该框架协调构建评估集、诊断模型缺陷并生成强调弱项的强化学习提示,形成递归自我改进反馈环。 在多种基础模型、基准及架构上的实验证明,APT 具备模型、基准和架构无关性,且全流程自动化。

  12. arXiv · AI22

    机器学习势函数能否比训练方法更准确:跨量子化学方法的视角

    机器学习势函数(MLP)通常被认为准确性受限于训练方法。本文提出通过泛化到量子化学方法空间,构建“方法可迁移”的 MLP。 实验表明,基于密度泛函和波函数理论的实现证明,这些 MLP 的预测精度可以超过其所有训练方法。该方法将推动化学模拟中训练数据集的构建与模型评估方式,突破现有精度极限。

  13. arXiv · NLP31

    PermaFrost-Attack: 用于在LLM训练期间植入逻辑地雷的隐蔽预训练种子(SPS)

    PermaFrost-Attack框架通过隐蔽预训练种子(SPS)向LLM植入潜在不安全行为,其载荷微小且易被标准评估隐藏。 研究引入热力学长度、谱曲率及感染追溯图三种几何诊断方法,揭示该攻击在多个模型族中的持久性与隐蔽性。 SPS被确认为基础模型实际且被低估的安全威胁,为检测潜在模型漏洞提供系统性理论基础。

  14. arXiv · NLP30

    在数学 RLVR 中通过分布对齐提示合成与反向提示退火缓解分布锐化

    在数学 RLVR 训练中,分布锐化导致难题覆盖范围收窄。DAHS 和 BHA 方法通过条件化提示和长度桶退火,解决了教师-学生分布不匹配及无提示评估适应性问题。 该方法在 Qwen3 模型上提升了 AIME 的 pass@1 和 pass@2048 分数。 它有效缓解了 DAPO 框架下难题覆盖范围的收缩。

  15. arXiv · AI42

    Logit Leakage through Floating-Point Bias Addition: 浮点偏差加法中的逻辑值泄露

    研究者发现大模型 API 浮点偏差加法存在数值侧信道,能恢复未披露的公共加性分量。 在 binary32 假设下,通过至多 52 次 token 查询即可精确恢复一对 logit 及其优先级。 利用 vLLM 和 SGLang 在 128 个 Qwen3-0.6B 输入上验证,该漏洞在 7 个模型族的 11 个检查点上均被复现。

  16. arXiv · ML33

    边缘联邦学习中的客户端自适应同步

    研究团队提出了一种基于强化学习的客户端同步框架,用于解决边缘联邦学习中的同步瓶颈。 该框架将同步建模为资源感知控制问题,每个客户端根据本地进度和资源状态决定上传、下载或延迟通信。 实验表明,该策略在时空交通预测中降低了系统成本,在图像分类中提升了最终精度,证明了客户端控制优于纯服务器端协调机制。

  17. arXiv · NLP23

    结构抽取与思维链:评估 LLM 抑郁症严重度判定中的标准提取方法

    研究发现,基于 LLM 的结构化标准抽取并非在所有情况下都优于思维链方法。 在两个 Reddit 语料库和 PHQ-9、BDI-II 量表测试中,前沿模型的标准抽取仅在有标签数据校准阈值时表现更好,且提升不显著;而 9B 模型在抑郁症社区语料库中表现相反,无标签的先验规则反而优于其直接提示和思维链结果。

  18. arXiv · AI20

    MP-MNCA:利用形态先验掩码邻居交叉注意力实现高效空间域识别

    MP-MNCA 框架在 12 个人体背外侧前额叶皮层切片中表现优异,在 ARI 和 NMI 指标上优于最强基线 STAIG。 该模型通过形态先验和自监督掩码邻居对比目标,以更少训练轮次收敛,平均峰值 ARI 为 0.546,平均 NMI 达 0.657。 研究证明该方法在加快空间域识别收敛速度的同时,未牺牲聚类质量。

  19. arXiv · ML21

    Mira-Embeddings-V1:基于LLM合成数据的招聘领域语义重排序

    Mira-Embeddings-V1通过LLM合成数据优化招聘领域的语义重排序系统,无需大规模人工标注。 该系统利用两轮LoRA适配及轻量级重排序头,在300个真实JD的测试池中,将Recall@50从68.89%提升至77.55%,Precision@10从35.77%提升至39.62%。 结果显示,结合边界感知重排序的LLM合成监督策略,无需重型交叉编码器即可获得稳健的性能提升。

  20. arXiv · ML40

    双时钟框架揭示 RLVR 中大 rollout 批次学习慢但失败时点不变

    论文提出双时钟框架,解释强化学习中可验证奖励训练里大 rollout 批次为何学习更慢却失败时点相近。 基于局部二次模型,平方根学习率规则保留每样本一阶漂移但不保留进度,大批次因更新次数少、曲率损失更大导致样本效率下降。 在 Qwen2.5-Math-1.5B 上的 GRPO 实验(16 倍批次范围)验证了漂移阈值假设,并推导出先低批后大批的多步 RLVR 调度策略。

  21. arXiv · NLP37

    TrustMOPD:基于可靠性感知的多教师在线策略蒸馏方法

    TrustMOPD 提出一种标签无关、token 级别监督分配的多教师在线策略蒸馏方法,解决了动态适应性难题。 实验显示,该方法在 SingleCap 和 MultiCap 上分别填补了 91.5% 和 98.0% 的师生分数差距,优于最强基线。 其性能接近基于标签的蒸馏方法,且无需领域标签,代码已公开。

  22. arXiv · ML23

    监督微调的几何校准:SPACE 方法提升领域内与领域外性能

    研究提出无数据、免训练的 SPACE 方法,利用预微调权重主子空间选择性回退微调更新,解决领域外能力退化。 该后处理技术适用于 Qwen2.5、Llama-3.1 等 2B 至 14B 模型,在数学任务中显著提升了模型表现。 例如 Qwen2.5-7B 在数学领域的领域内与领域外分别平均提升 2.85 和 2.26 分。