跳到正文
11月17日周二
  1. arXiv · ML21

    论文提出 SCOPE:在权重空间学习图结构条件预测器

    研究提出 SCOPE 框架,将节点结构指纹映射为共享低秩基上的系数,生成上下文特定的全局权重矩阵更新。 指纹缓存后推理仅需前向传播,无需在线消息传递。在 OGB 节点分类任务中,条件化权重比输入拼接原始位置信号带来显著提升,证明图结构决定了预测器而非仅提供证据。

  2. arXiv · ML30

    在策略蒸馏作为后门传播通道:揭示 LLM 安全风险与缓解方法

    研究发现,在策略蒸馏(OPD)过程中,教师模型中植入的条件后门可高效传播至学生模型,且效果强于传统蒸馏。 机制分析表明,后门信号主要通过教师模型在触发与干净输入间的异常条件概率差异传递,并内化于学生模型表示中。 基于此,论文提出了一种针对该传播场景定制的 OPD 训练方法,以抑制源头异常信号,缓解不可信教师监督带来的后门转移风险。

  3. arXiv · ML40

    LogT:通过逻辑链引导的SFT数据引擎提升视觉搜索推理

    该研究提出自动化SFT数据引擎LogT,通过强制逻辑链引导生成高质量训练数据,解决视觉搜索中逻辑推理与工具使用挑战。 在Qwen2.5-VL-7B和InternVL3.5-8B上验证,LogT-SFT仅用3.1倍更少的数据和120倍以上更少的GPU小时,超越SFT和RL训练的SOTA模型。 应用简单RL配方后,模型性能比复杂RL设置方法高出9.59分,并展现出更高工具使用准确性与结构化推理轨迹。

  4. arXiv · ML21

    纵向用药轨迹知识引导局部到全局异常学习框架

    针对纵向用药轨迹中的异常检测,该研究提出知识引导局部到全局(L2G)异常学习框架,通过三级代理监督和共享评分头实现局部偏差与账户级决策的关联。 该框架利用药物多集编码器和因果访问序列编码器生成访问级异常日志,并通过Top-α聚合推导账户级分数。在City-A城市队列实验中,L2G表现优于最强基线方法,且在跨城市定位任务中展现出更一致的性能提升。

  5. arXiv · ML26

    理解预训练中推理数据的作用

    研究表明,在预训练中,原子训练信号的最优权重随推理链长度增加而增大,并随未纳入推理监督的事实比例增加而减小。 该结论在线性 Transformer 及包含 MLP 的全 Transformer 层中均得到验证,且在多跳推理和数学预训练的自然语言设置中确认了推理复杂性与数据覆盖率的调节作用。

  6. arXiv · AI30

    无重放循环状态迁移的信息极限

    研究指出循环模型状态迁移所需的最小连续因果记忆,等于提升系数系统的可达维数减去锚定状态信息。对于可控 d 状态模型,标量输入最多需要 k d 个额外实数坐标,即使矩阵替换方向在流式传输后才揭示。单秩一方向即可要求全部 k d 坐标。 在小语言模型实验中,等记忆三次插值比三阶系数提高了平均状态保真度,但未带来有意义的预测增益。

  7. arXiv · AI33

    NI-ACT:面向脑-具身操作的神经常驻意图接口

    NI-ACT框架将皮层信号解读为持续意图以驱动机器人抓取,在反事实任务中意图替换改变了抓取行为。 将群体潜在变量作为意图token使抓取完成率从69%升至81%,PMd区域读取效果优于M1(77% vs 53%)。 证明神经信号的表征方式及读取时空位置共同决定了向具身智能体传达运动目标的有效性。

  8. arXiv · ML40

    双向对数线性注意力:提升长上下文召回率的混合架构

    双向对数线性注意力通过结合正向与锚定序列起点的反向层级,在保持因果性前提下实现了对早期和近期上下文更精细的访问。 在等参数匹配的语言模型测试中,该机制将 RULER 基准下 6144 token 上下文的针在草堆任务平均得分从 26.97% 提升至 50.03%。 多查询关联召回测试中,其平均准确率由 76.37% 升至 96.12%,且优于正向对数线性注意力。

  9. arXiv · AI38

    权重空间编程:语言模型零样本预测与结构化数据分类

    语言模型通过权重空间编程,无梯度下降地手动固定前馈网络所有参数,完成统计推断与目标变量预测。 方法将数据集与网络架构输入模型,直接输出权重与偏置数值,预注册预期分数。测试涵盖玩具问题、合成数据及经典基准,在两个层级击败梯度下降训练的基线。 核心发现是线性分离器训练误差可预测隐层有效性,弥补复合复杂度指数的不足。

  10. arXiv · AI36

    LLM 智能体授权机制的审计:跨模型、执行框架与工作流层级的实证研究

    研究形式化了拒绝安全性与有界授权完整性,针对3个模型、5种提示策略、4种运行时审批设计等配置,审计了模型选择、执行框架调度及工作流路由三个执行边界。 实验发现300次批准中有7次未完成,并行确认导致每个模型在3个任务中丢失已批准分支,336/672个CrewAI批准被遗漏,且59个n8n工作流中有4个在拒绝后仍执行。

  11. arXiv · ML28

    Facto 提出分解自监督语音分词方法

    研究提出 Facto 自监督语音分词器,通过分解静态与动态信息提升 token 对噪声扰动的鲁棒性。 方法基于线性分解处理未见说话人,理论分析了收敛与扩展特性,并验证了其在 TTS 和语音转换任务中的性能提升。 代码与模型检查点已开源发布。

  12. arXiv · AI20

    Agent 如何在动态环境中选择性更新场景记忆

    研究发现,通过有限预算更新参数化语义记忆,Agent 可在引入新事实的同时保留旧信息。 使用冻结的 4B 语言模型配合 LoRA 微调,随着更新预算从 8 增至 32,联合成功率从 6.25% 大幅提升至 94.79%。 该机制有效解决物理 AI 系统在场景配置变化时的记忆冲突问题。

  13. arXiv · ML42

    Self-Improvement Memory 实现持续递归自我改进

    研究者提出 Self-Improvement Memory(SIM),在四个领域实验中,跨数据集与跨模型场景下最终得分高于仅用 harness 或根因的延续方法。 SIM 按 recurring harness problem 归组编辑,记录 rationale、预测与实际结果及评估上下文;十次独立 coding 源运行中,配对延续平均最终得分提升 2.36 分($p=0.003$)。

  14. arXiv · AI20

    Mem2Fair:基于公平记忆的文本到视频生成在线公平性控制框架

    论文提出 Mem2Fair,一种即插即用的框架,通过维护概念条件化的公平记忆在推理时提升文本到视频(T2V)生成的公平性。 该框架利用生成视频作为反馈,基于属性干预选择提示词,无需模型训练或独立部署前采样,可在多个属性、提示设置和目标分布上持续改善公平性,并保持与未修改生成器相当的提示-视频对齐和视频质量,同时支持在商业黑盒 T2V 模型上运行。

  15. arXiv · AI20

    STaSBO:基于 LLM 引导策略规划与配置选择的贝叶斯优化

    针对贝叶斯优化中代理-采集配置选择依赖问题状态的情况,提出任务无关的 LLM 驱动元控制器 STaSBO,将数值计算与策略规划解耦。 STaSBO 包含策略规划与配置选择两阶段,利用结构化记忆优化轨迹。在 12 个合成数学及 10 个工程任务中,平均排名 2.17 和 2.60,优于最强基线的 4.08 和 4.10。

  16. arXiv · AI30

    置信度信号何时揭示问题难度?

    研究发现扰动不一致性、语义熵和解长度等置信度信号与群体问题难度呈强相关,优于 token 级不确定性。 即便限制在模型答对的问题子集,这些信号仍表现出难度区分能力,可作为推理时决策的代理指标。

  17. arXiv · AI26

    LABEL:Qwen2.5 在药物适应症与禁忌症文献不对称中的表现研究

    Qwen2.5 在药物文献中展现适应症与禁忌症的记录不对称(LABEL),574 种药物中适应症提及频率约为禁忌症的 2.19 倍。 Qwen2.5 从 0.5B 扩容至 14B 时,适应症准确率提升 18.3 个百分点,而禁忌症准确率接近随机猜测;提供检索片段或路由至 FDA 标签可显著改善安全性问答效果。