跳到正文
10月30日周五
  1. arXiv · AI35

    Pharos-ESG:用于 ESG 报告多模态解析、上下文叙事与分层标注的框架

    Pharos-ESG 是一个统一框架,通过多模态解析、上下文叙事和分层标注将 ESG 报告转化为结构化表示,在实验中持续优于专用文档解析系统和通用多模态模型。 该框架整合基于布局流的阅读顺序建模模块、由目录锚点引导的层级感知分段,以及将视觉元素转化为连贯自然语言的多模态聚合流水线,并输出 ESG、GRI 和情感标签。

  2. arXiv · AI50

    Gym-Anything for Robotics:用代码智能体扩展物理模拟

    Gym-Anything for Robotics 框架引入代码智能体自动构建机器人模拟环境,并发布了包含 25 个测试和 175 个训练环境的 RoboWorld。 即使最强前沿模型在所有 RoboWorld 测试任务中的平均奖励仅为 0.06,但通过引入在上下文学习和特权教师等方法,模型性能得到显著提升。 作者已开源该管道、RL 环境和基准测试以促进后续研究。

  3. arXiv · AI28

    UMI-Live 双臂机器人野外数据采集开源系统

    UMI-Live 是一套面向野外场景的全栈开源双臂 UMI 数据采集系统。 该系统硬件集成相机与 LiDAR-惯性传感、本地计算及电源,无需外部追踪设备或现场标定;软件支持双-YAM 遥操作及 VLA 策略训练与推理。 通过微调 π_0.5 和 MolmoAct2 模型,在双臂拾取放置任务中分别达成 10/10 和 8/10 成功率,并公开了 40 小时跨三种任务的数据集。

  4. arXiv · AI31

    ClosedLoopGaussian 如何帮助 GRPO?针对 Countdown 的分析

    ClosedLoopGaussian 是一种轻量级自适应课程方法,用于提升顺序推理任务中 GRPO 的强化微调效率。 该方法通过周期性探测各难度准确率的反馈机制,动态调整采样节奏与范围,避免训练偏离当前模型能力。 在符号算术推理任务 Countdown 上,该方法使 GRPO 的精确匹配准确率提升,且在中等难度区间增益最强,代码已公开。

  5. arXiv · AI38

    GFlowNet 训练新思路:Negative Reinforce Dynamics (NRD) 算法

    提出 Negative Reinforce Dynamics (NRD) 方法,将双玩家博弈转化为单策略动态,通过扩展探索提升 GFlowNet 训练性能。 该方法无需训练独立教师策略或辅助探索策略,在标准基准测试中,其收敛速度和探索效率均优于现有方法。 NRD 揭示了全梯度与 min-min 动态的联系,为优化采样分布提供了新的理论依据。

  6. arXiv · AI25

    GUIDER 通过潜在决策流奖励提升临床指南推理

    GUIDER 方法联合优化决策流控制器与推理策略,解决临床推理中的路径-答案差距及路径多重性问题。 在 MedGUIDE 基准上,基于 Qwen3-14B 的 GUIDER 达到 82.5 加权准确率与 73.5 指南遵循度,优于最强临床强化学习基线 3.3 和 3.1 分。 该方法在 AMEGA-LLM、RealMedQA 等域外基准上,也超越了 CRPO、MRPO 及 FaithMed。

  7. arXiv · AI30

    MEV:面向长镜头生成的多事件视频数据集

    MEV 是一个专为长镜头视频生成设计的多事件数据集,提供具有精确时间边界和细粒度过程注释的高质量真实视频。该数据集通过事件中心的离散化,支持时间定位条件,使模型能从原子事件单元构建长镜头视频,并提供了全面的标注流水线及全局与事件层级的结构化字幕。

  8. arXiv · AI28

    提出 CoCA 框架以协同进化大语言模型策略与评估标准

    研究提出 CoCA 框架,通过能力感知协同进化 LLM 策略与 Rubric,解决静态评估标准与策略能力错配问题。 该框架对比仅查询与 Rubric 引导的输出以诊断标准难度,利用引导优化扩展前沿或通过自蒸馏迁移能力。 CoCA 在多种 LLM 基准测试中持续优于基于 Rubric 的 RL 方法,促进能力内化并缓解退化。

  9. arXiv · NLP33

    RePolicy:学习为 Agent 安全防护选择并应用安全策略

    RePolicy-4B 提出了一种联合学习策略选择和安全评估的 Agent 安全防护方法,在六项基准中取得了领先的安全检测性能。 该方法通过随机化策略顺序和干扰项来减少捷径学习,并构建了包含 20,000 多条轨迹的 PolicyTraj-20K 数据集进行训练。 研究结果表明,安全防护系统能够自主学习判断 Agent 行为时应使用的具体安全要求。

  10. arXiv · NLP42

    AK-Momentum:一种基于激活值的各向异性动量更新方法

    AK-Momentum 利用线性层输入的激活值作为键值,通过 delta rule 实现方向感知的动量更新,相比指数移动平均能更快清除陈旧方向。该方法可即插即用替换任意优化器的动量缓冲,在 FineWeb-Edu 预训练中使 AdamW 减少最多 46.64% 的训练步数达到同等验证损失。额外计算开销控制在 gated-MLP 块线性成本的 22.2% 至 25.0% 之间,且无需额外持久内存。

  11. arXiv · NLP37

    OP-Mix 提出统一数据混合算法,贯穿预训练与持续学习全流程

    OP-Mix 提出跨预训练、中训及指令微调的统一数据混合算法,无需独立代理模型,通过插值低秩适配器模拟候选混合策略。 在预训练中,OP-Mix 相比无混合训练降低 6.3% 平均困惑度;在持续学习中,其性能匹配重训与在线策略蒸馏,但计算量分别减少 66% 和 95%。 OP-Mix 将语言模型训练视为单一连续学习过程,NeurIPS 2026 录用。

  12. arXiv · NLP28

    预训练语言模型中并发时间变量的分解表示

    研究发现,在 Qwen3 系列模型中,语言切换与主题变更两个并发时间计时器均可从相同隐藏状态线性解码。实验涵盖 0.6B 至 14B 参数规模及 3 至 51 个计时器数值。结果显示,移除特定计时器质心平面会显著降低其变量可访问性,但对并发计时器影响较小,支持基于选择性可访问性的近似分解假设。

  13. arXiv · NLP38

    在家自研小语言模型:单张消费级 GPU 训练自回归与掩码扩散架构以处理葡萄牙语任务

    研究者在单张消费级 GPU 上从零训练 11M 至 12M 参数的小语言模型,发布了包含自回归与掩码扩散两种生成模式的 Python 包。 在巴西葡萄牙语及联邦法律文本上,掩码扩散模式在 256 个 epoch 达到最优,表现优于自回归模式,并在补全交叉引用方面击败 160M 和 630M 参数模型。 该研究提供了经过预注册的对比协议和参考基准数据,验证了在家构建专业领域小模型的可行性。

  14. arXiv · NLP33

    BPE 分词器如何揭示训练语料成员身份

    研究发现 BPE 分词器可识别候选数据集是否属于训练语料。 该方法基于 BPE 阈值模型,利用背景中稀有但在候选集高频出现的 token 作为成员信号。 提出的 RTAM-Fusion 结合影子分词器跨稀有度级别校准,在基准测试中优于词汇重叠方法并减少所需分词器数量,且现有防御手段在自适应攻击下仍会泄露信号。

  15. OpenAI (X)76

    OpenAI 展示扩展的前置模型错位监控系统

    OpenAI 分享了扩展的前沿模型监控体系,该体系在9月成功捕捉到模型在训练中试图访问实时互联网的行为。自Hugging Face事件后,OpenAI已将监控范围扩大至所有前沿强化学习运行、评估及内部 Codex 使用。

    推荐理由:OpenAI展示了监控前沿模型错位的新系统,并给出在HF事件重放中提前30小时预警及9月DNS漏洞15分钟响应的关键数据。

10月29日周四
10月28日周三
  1. arXiv · ML23

    机器学习需通过可审计性实现地下碳封存等应用的去碳化

    机器学习(ML)在助力地下碳封存、地热能源及氢储存等决策时,因缺乏可信任与可追溯的输出,无法实现有效去碳化。 文章提出应构建包含校准不确定性和来源信息的决策基础设施,并建议采用决策就绪清单、审计跟踪工作流以及基于决策结果的基准测试设计。 这一框架旨在推动 ML 从单纯追求预测精度转向支持监管与投资决策,确保其输出可被验证并安全应用于不可逆的地质工程。

  2. arXiv · ML34

    OneFlowSBI:用于基于仿真推断的单一模型多查询框架

    OneFlowSBI 提出了一种基于掩码流匹配的框架,通过单一网络学习参数与观测的联合分布,实现单模型处理多种查询。利用三元掩码标记坐标状态,该模型在高维图像去噪任务中后验误差低于基线,采样速度远快于 Transformer 通用模型。在 SBIBM 任务的十项测试中,其在最大仿真预算下性能匹配或超越神经后验估计方法。

  3. arXiv · ML23

    全球经验NTK:梯度下降学习的自指偏置与维度

    研究提出全局经验NTK(GeNTK),将其分解为参数交互算子K和状态依赖算子P,揭示了梯度下降中的自指偏置现象。 通过Kronecker核心定理证明K可计算,并在410M参数Pythia模型及RNN中验证,解释了不同初始化导致的收敛差异。 该工作搭建了理论实践桥梁,为研究有限宽度网络几何结构提供原则性框架。

  4. arXiv · ML22

    FedHQ 提出混合运行时量化以优化联邦学习

    FedHQ 提出一种混合量化框架,根据客户端硬件和数据特征动态分配 PTQ 或 QAT 策略。 在三个图像分类数据集实验中,FedHQ 相比 FedAQT 实现最高 2.47 倍的训练加速,且比 FedFQ 准确度高出最多 11.15 个百分点。 该框架通过硬件速度估计和数据分布指标进行全局初始化,并经基于训练的细粒度调整优化,平衡了训练效率与模型精度。