跳到正文
10月14日周三
  1. arXiv · AI21

    Engram Injection:参数化语言模型记忆中的时间有效性研究

    Engram Injection 采用 LoRA 适配器存储事实,在冻结的 Qwen2.5-3B-Instruct 模型上通过 FiLM 条件输入时钟信息。 在 62 对更新前后问题测试中,LoRA 适配器准确率为 0,而全历史提示法答对 59 对,检索法答对 62 对。 结果表明模型学习事实与学习使用时机存在分离,时间版本选择机制尚未成功。

  2. arXiv · ML29

    ShellElastic:通过同时最大更新与超参数迁移实现可扩展弹性预训练

    ShellElastic 提出一种弹性 Transformer,将隐藏维度组织为核心与外壳,使单次全宽前向传播包含所有子网络精确隐藏状态。 联合训练保持固定计算图,每步成本约为训练最宽子网络的成本。扩展参数化规则确保所有子网络同时最大更新,且超参数在小代理模型调优后对大模型仍接近最优。 单个运行产生的子网络在匹配参数量下优于 MatFormer 等基线。

  3. arXiv · NLP23

    Soft Teacher Forcing:结合软 token 提升监督微调效果

    Soft-TF 通过随机凸组合将 teacher-forced 嵌入与软 token 结合,在不增加参数、外部模型或课程学习的情况下改进监督微调(SFT)。 该方法在单个并行前向传播中计算软 token,推理过程保持不变。 在 GSM8K、MATH、MathQA 和 AQuA 基准上,跨七个 Gemma、Llama 和 Mistral 模型,GSM8K 提升 2.1 至 4.1 分。

  4. arXiv · NLP23

    SarcasTraps:讽刺对土耳其语仇恨言论检测的影响

    研究引入包含 479 条双维标注样本的外部测试集 SarcasTraps,专门分析讽刺对土耳其语仇恨言论检测的影响。 基于 BERTurk 和 XLM-RoBERTa 训练的模型在讽刺样本上召回率下降,GPT-4.1 和 Llama-3.3-70B 零样本测试精度显著降低。 该测试集为量化讽刺场景下检测模型的挑战提供了针对性实证依据。

  5. arXiv · ML23

    基于工况匹配与部分最优传输的跨材料磁芯损耗预测方法 T-PCOT

    论文提出 Transformer 迁移方法 T-PCOT,利用工况匹配与部分最优传输解决跨材料磁芯损耗预测中样本可比性问题。 在 3 组材料对实验中,T-PCOT 将宏平均相对误差(Macro MRE)从 12.60% 降至 9.65%,95 分位误差(P95)从 30.94% 降至 25.06%。 该方法在磁芯损耗迁移学习中实现了最先进的预测性能。

  6. arXiv · AI34

    RECAP 校准低比特推理模型:基于其读取的历史上下文

    RECAP 提出一种后训练量化方法,通过在校准时利用模型读取的历史上下文校准推理模型,以缓解低比特量化对长思维链的降级。 该方法结合动态前缀校准与前缀读取几何,在 W4A4KV4 设置下,将 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH500 上的准确率提升 13.3 个百分点,Qwen3-4B 在 AIME-120 上提升 15.8 个百分点。

  7. arXiv · NLP40

    Ares:面向大语言模型可验证奖励强化学习的谱驱动自适应秩优化器

    提出新优化器 Ares 以提升大语言模型在可验证奖励强化学习(RLVR)中的训练效果。该优化器基于梯度谱结构自适应调整更新秩,将信号限制在低维子空间内。 研究发现 RLVR 诱导了独特的优化几何特征,即梯度能量向有效子空间集中且随训练动态演化,而监督微调不具备此特性。Ares 通过追踪这种演化来优化性能,在多种 LLM 规模和 RLVR 算法上实现了比常用优化器更高的准确率。

  8. arXiv · NLP48

    VRSD:一种结合口头正则化的自蒸馏方法

    VRSD 通过系统提示词调控教师模型使用特权信息的方式,在 12 个模型任务组合中的 11 个场景下提升了 Pass@1 性能。 平均提升 3.9 个百分点,同时一般性保持更高的 token 熵,避免了对捷径推理的过度依赖。 理论上,该方法将提示建模为减弱特权信息对教师分布的影响,并推导了熵保留的条件。

  9. arXiv · ML37

    提出基于奖励对齐的知识蒸馏方法 RAD

    新框架 RAD 将蒸馏信号权重与学生更新后的预测奖励效应对齐,克服了标准蒸馏忽视奖励改善信号的问题。 该框架通过临时优化器步对每个 token 的监督效果评分,在同等训练预算下将 Qwen3-1.7B 在六个竞赛数学基准上的平均准确率提升 6.5 个百分点。

  10. arXiv · ML21

    PGSB:用于 LoRA 模型合并的预训练引导共享基

    提出 PGSB 框架,通过识别任务间共享方向并结合预训练权重重新参数化,提升 LoRA 模型合并效果。 PGSB 采用两阶段方法,先找出任务特异性 LoRA 更新中的共享方向,再计算其与预训练权重的相互作用以生成更优合并基。 实验表明 PGSB 在多个基准测试中持续优于现有最先进方法,代码已公开。

  11. arXiv · ML23

    重新思考激活函数:减少偏差可改善学习

    研究指出,主流激活函数产生的非零均值偏差会加速初期损失下降,但伴随过冲和不平滑轨迹;降低该偏差虽减缓初期学习,却最终带来更低的损失值。 在较大的视觉和语言模型实验中,较小的激活偏差与更好的后期性能相关联,表明这一特性值得在激活函数设计中明确考虑。

  12. arXiv · AI25

    CESNET-TimeSeries26:针对长期网络流量异常检测的多年时序数据集发布

    研究团队发布 CESNET-TimeSeries26 数据集,包含 CESNET3 网络近 4.5 年连续流量时序,用于长期预测模型评估。 数据集涵盖 278,466 个 IP 地址、285 个机构及 566 个子网,提供 995 天连续数据及单个子网长周期记录。 该数据集确立纵向基准,证明预测模型仅当训练窗口覆盖完整年度周期时,才能利用年度季节性特征。

  13. arXiv · NLP30

    LLM 剪枝-恢复步骤的脆弱性与动态机制研究

    LLM 剪枝后指令跟随能力最先崩溃,远早于知识、推理或核心语言建模能力。该过程主要表现为对提示词响应的域无关性失败,而非单纯的知识丢失。 领域内数据是最强的剪枝信号,而指令风格数据在恢复阶段效果最佳。该研究为组合 LLM 剪枝与恢复提供了具体的实践方案。

  14. arXiv · AI34

    MHWA:多时间尺度分层世界-动作模型

    提出多时间尺度分层世界-动作模型MHWA,通过跨步高层上下文通道和动态路由降低自回归预测漂移。 该模型拥有77M参数,在14款Atari子集上取得0.884 HNS,较JOWA-70M基线显著提升。 使用10%离线数据,比JOWA-150M减少70.88%训练FLOPs,实现参数与效率的平衡。

  15. arXiv · ML27

    ULPack:基于参考条件的模型检查点轨迹无损压缩

    ULPack 提出利用参考权重的指数预测位移比特长度的无损压缩方法,降低模型训练检查点的存储成本。 在 bfloat16、float16 和 float32 轨迹上,ULPack 相比 ZipNN 减少 27% 存储空间,较 zstd-19 减少 21%,较 FM-Delta 减少 11.5%。 随着更新量缩小且参考条件增强,压缩效率提升,但低位近均匀比特限制了进一步压缩空间。

  16. arXiv · ML26

    PLDiv: 基于持久性景观的数据集多样性与语义坍缩度量

    研究提出 PLDiv 度量指标,基于持久性景观量化数据集几何表示的结构组织,无需任务特定监督。 PLDiv 将数据邻域随样本连接演化的过程总结为可解释标量,有效检测指令数据集和推理轨迹中的语义坍缩。 该指标在合成数据监控、数据集构建及生成模型评估中支持多样性分析与语义覆盖扩展。

  17. arXiv · AI26

    PsyMemBehav 发布:基于心理学与记忆的双层级身份到行动推理用于社交媒体行为模拟

    PsyMemBehav 模型通过 41 维描述符与 BM25 记忆,实现身份到行动推理。其 27B 版本在 11/12 项指标中排名第一,响应质量从 54.28 提升至 59.68。 该模型基于 5,862 名真实用户共 5.57M 行为记录构建,采用 DPO 优化。在组级别模拟中,MAE 低至 0.081,验证了证据驱动用户建模的有效性。

  18. arXiv · NLP23

    UltraBERT:突破 BERT 预训练极限,实现分类与检索任务 SOTA

    UltraBERT 成为首个在分类和检索任务上均达到 SOTA 的双向编码器,GLUE 得分 91.0,BEIR 得分 47.7。 研究发现编码器性能在数万亿 token 后饱和,且不同掩码比率对分类和检索的收益相反。UltraBERT 通过分离低/高掩码比率的 LM head 并限制蒸馏目标优化模型,为双向模型设计提供了原则基础。

  19. arXiv · ML35

    OPMD: 超越输出监督的在策略机制蒸馏

    OPMD 提出一种在策略机制蒸馏方法,通过在策略轨迹中内化与学生学习兼容的中间状态,解决教师与学生表示几何差异问题。 该方法在三种师生配置下均达到最高平均准确率,支持多教师蒸馏及跨家族微调,有效改进推理能力并改变中间计算策略。

  20. arXiv · NLP37

    Vela 框架:利用用户行为监督提升 LLM 智能

    Vela 框架利用 10 万用户的真实行为数据生成训练轨迹,微调 Qwen3.6-35B-A3B 后相关任务性能提升 11.5 分。 该框架处理约 7.5 万条筛选后的任务,通用基准提升 4 分,且结合强化学习可进一步优于基线 7.7 分。 研究证实真实用户行为是扩展 LLM 用户中心能力与整体智能的可扩展监督源。

  21. arXiv · ML21

    VH-GPO:基于验证交接的 LLM 智能体强化学习方法

    针对 GRPO 在同组失败时学习信号缺失的问题,提出 VH-GPO 实现经验证的教师-学生交接。 使用 Qwen2.5-1.5B 时,VH-GPO 将 ALFWorld 成功率从 59.38% 提升至 94.79%,WebShop 从 71.62% 提升至 77.34%。 教师恢复支持仅占额外 token 的 1.77% 和 2.61%,验证了该机制在强化学生独立完成任务能力上的有效性。