跳到正文
10月14日周三
  1. arXiv · ML23

    StructZO:面向内存高效 LLM 微调的结构化零阶优化框架

    StructZO 提出结构化零阶优化框架,在激活诱导子空间中进行大查询估计并应用谱控制,显著缩小零阶与一阶优化器的性能差距。 理论证明有效估计维度从 $mn$ 降至 $mr$,投影误差由激活 Gram 矩阵谱尾决定。 在 OPT 系列和 Llama3.1-8B 上,StructZO 平均比最强零阶基线提升 8.7%,个体任务最高提升 26.9%,平均结果距一阶 Adam 仅 1.5%。

  2. arXiv · AI39

    大语言模型对手建模诊断框架:区分适应性与心理理论

    研究提出重复捉迷藏基准与诊断框架,利用递归信念更新区分适应性游玩与信念追踪。 在Qwen2.5-7B-Instruct与GPT-5.4测试中,提供对手真实信念显著提升行动预测准确率,而模型自主推断信念表现受限。 该框架揭示了利用信念信息比自主推断信念更易,为评估大语言模型心理能力提供新标准。

  3. arXiv · AI31

    PACT:基于自身生成路径的扩散语言模型强化学习后训练方法

    研究团队提出 PACT 方法,解决了扩散语言模型在强化学习后训练中的“轨迹盲目性”问题,该模型在 LLaDA-8B-Instruct 上的 GSM8K 基准提升 9.9 分,MATH500 提升 12.0 分。 PACT 通过联合学习策略与标量势函数,实现无需序列似然估计或重要性比率裁剪,在 GSM8K 任务上以 AGRPO 约一半的训练算力达到其最佳准确率。

  4. arXiv · ML30

    零样本迁移 Walrus 基础模型至果蝇胚胎形态发生研究

    研究人员将跨模拟流体系统预训练的 Walrus 基础模型微调至仅 12 个野生型果蝇胚胎视频,并在未见过的温度和基因扰动条件下实现零样本预测。 模型在严重分布偏移下表现最佳,成功捕捉到 17°C 与 27°C 间组织速度轨迹差异及原条延伸起始时间点。 研究初步支持物理基础模型作为低数据量下模拟形态发生的互补工具。

  5. arXiv · NLP37

    ReVeR:基于工具增强评判的点式评分标准奖励模型

    提出点式评分标准奖励模型 ReVeR,通过仅推理指令推导硬规则,利用工具增强评判独立评估响应。 模型经标签盲蒸馏训练,生成大规模 ReVeR-Traces 数据集,实验显示其在偏好准确性上优于成对评判方法。 研究发现生成器强化学习提高偏好准确性的同时降低评分标准保真度,且偏好准确性不必然转化为更优下游策略。

  6. arXiv · ML34

    LVRL:基于 LLM 价值函数的智能体强化学习信用分配方法

    LVRL 利用 LLM 预训练知识估计策略感知状态价值,实现步骤级信用分配,无需微调独立 critic。 在 AppWorld、BabyAI 和 SWE-bench Verified 基准测试中,LVRL 显著优于 GRPO 和 PPO,在 AppWorld 上绝对提升达 13.6 个百分点。 该方法有效解决了长时程稀疏奖励任务中的信用分配难题,提升了智能体在复杂环境下的决策鲁棒性。

  7. arXiv · AI25

    CDS:面向工业短视频排序的通信高效链式维度扩展

    论文提出链式维度扩展(CDS),通过复用单一特征交互块参数,在不增加参数量前提下引入链长度作为新扩展维度。 在压缩模式下,CDS 使可训练参数减少 26.6%,训练吞吐量提升 6.4%,离线质量差距保持在 0.03% 以内。 效率提升主要源于降低跨设备同步开销和更新成本,验证了参数共享迭代计算作为工业系统通信高效扩展轴的价值。

  8. arXiv · ML22

    小型语言模型上下文感知精度调度研究

    研究提出一种针对端侧小型语言模型的上下文感知精度调度方法,通过结合校准的时序模型和张量敏感度优化精度配置。 在笔记本 GPU 上测试显示,延迟预算下系统会降低权重精度以利用缓存读取时间,工具使用基准测试验证了该调度对完整响应时间和正确性的影响。

  9. arXiv · AI34

    深度神经网络纯整数训练的新算法

    提出一种将所有张量(权重、梯度、激活)存储为INT8且所有操作均使用整数算术的训练算法。 该算法使用5个可组合的构建模块和每组速度机制,使训练内存比FP32基线小约4倍。 在ResNet、MobileNetV2和ViT等模型上验证,首次在CIFAR-10/100和ImageNet上以INT8实现具有竞争力的准确率。

  10. arXiv · NLP28

    Swiss4Arg:覆盖瑞士四种国家语言的平行多语种论辩挖掘数据集

    基于2019至2025年瑞士官方投票手册,构建了包含53项联邦议题的Swiss4Arg多语种平行数据集。该资源覆盖德语、法语、意大利语和罗曼什语四种国家语言,由每种语言的三名母语者标注,并提供了GPT-5.4与SwissBERT的基线结果。 该数据集为多语种论辩挖掘与低资源场景下的跨语言可比性研究提供了新基准,标注与代码已公开发布。

  11. arXiv · ML30

    CodeWalk:通过遍历问题图生成编程基准

    CodeWalk 提出通过组合现有原子问题零成本生成新编程基准,无需大语言模型生成或验证。该方法应用于多 bug 修复、证明补全、复杂度分析和克隆等价四类任务,发现前沿模型性能随组合深度增加而下降。对 Qwen3.5-9B 进行拒绝采样微调可提升其在所有组合层级的表现。

  12. arXiv · AI31

    HACE:异构智能体协同进化框架在三个领域超越自改进方法

    研究者提出异构智能体协同进化框架 HACE,通过监督学习与强化学习让专业基础模型与 LLM 智能体互促进化。 在推荐系统、蛋白质功能预测和晶体稳定性预测三个领域,HACE 的主要任务指标均优于现有自改进方法。 该结果验证了异构协同进化作为提升专业基础模型的通用路径。

  13. arXiv · AI21

    Engram Injection:参数化语言模型记忆中的时间有效性研究

    Engram Injection 采用 LoRA 适配器存储事实,在冻结的 Qwen2.5-3B-Instruct 模型上通过 FiLM 条件输入时钟信息。 在 62 对更新前后问题测试中,LoRA 适配器准确率为 0,而全历史提示法答对 59 对,检索法答对 62 对。 结果表明模型学习事实与学习使用时机存在分离,时间版本选择机制尚未成功。

  14. arXiv · ML29

    ShellElastic:通过同时最大更新与超参数迁移实现可扩展弹性预训练

    ShellElastic 提出一种弹性 Transformer,将隐藏维度组织为核心与外壳,使单次全宽前向传播包含所有子网络精确隐藏状态。 联合训练保持固定计算图,每步成本约为训练最宽子网络的成本。扩展参数化规则确保所有子网络同时最大更新,且超参数在小代理模型调优后对大模型仍接近最优。 单个运行产生的子网络在匹配参数量下优于 MatFormer 等基线。

  15. arXiv · NLP23

    Soft Teacher Forcing:结合软 token 提升监督微调效果

    Soft-TF 通过随机凸组合将 teacher-forced 嵌入与软 token 结合,在不增加参数、外部模型或课程学习的情况下改进监督微调(SFT)。 该方法在单个并行前向传播中计算软 token,推理过程保持不变。 在 GSM8K、MATH、MathQA 和 AQuA 基准上,跨七个 Gemma、Llama 和 Mistral 模型,GSM8K 提升 2.1 至 4.1 分。

  16. arXiv · NLP23

    SarcasTraps:讽刺对土耳其语仇恨言论检测的影响

    研究引入包含 479 条双维标注样本的外部测试集 SarcasTraps,专门分析讽刺对土耳其语仇恨言论检测的影响。 基于 BERTurk 和 XLM-RoBERTa 训练的模型在讽刺样本上召回率下降,GPT-4.1 和 Llama-3.3-70B 零样本测试精度显著降低。 该测试集为量化讽刺场景下检测模型的挑战提供了针对性实证依据。

  17. arXiv · ML23

    基于工况匹配与部分最优传输的跨材料磁芯损耗预测方法 T-PCOT

    论文提出 Transformer 迁移方法 T-PCOT,利用工况匹配与部分最优传输解决跨材料磁芯损耗预测中样本可比性问题。 在 3 组材料对实验中,T-PCOT 将宏平均相对误差(Macro MRE)从 12.60% 降至 9.65%,95 分位误差(P95)从 30.94% 降至 25.06%。 该方法在磁芯损耗迁移学习中实现了最先进的预测性能。

  18. arXiv · AI34

    RECAP 校准低比特推理模型:基于其读取的历史上下文

    RECAP 提出一种后训练量化方法,通过在校准时利用模型读取的历史上下文校准推理模型,以缓解低比特量化对长思维链的降级。 该方法结合动态前缀校准与前缀读取几何,在 W4A4KV4 设置下,将 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH500 上的准确率提升 13.3 个百分点,Qwen3-4B 在 AIME-120 上提升 15.8 个百分点。