跳到正文
10月21日周三
  1. arXiv · AI26

    Typhoon:基于梯度的任务特定掩码策略评估

    Typhoon 是一种利用掩码语言模型损失梯度评估词元贡献的动态掩码策略,旨在改进下游任务迁移效果。 实验在 TinyBERT、DistilBERT 和 BERT-base 上测试 Typhoon,对比随机及整词掩码,共执行 90 次训练。 多随机种子评估表明 Typhoon 在 MRPC 和 CoLA 任务上未优于基线,其单轮性能优势在统计检验中不显著。

  2. arXiv · AI31

    TabProbe:利用表格基础模型实现模型无关的关联规则学习

    TabProbe 提出一种模型无关的关联规则学习框架,利用表格基础模型作为条件概率估计器,直接从模型中提取关联规则,无需传统频繁项目集挖掘。 在低数据场景下,该方法无需任务特定训练即可生成简洁且高质量的规则,具备强鲁棒性。 扩展版本已发表在 TMLR,开源代码已提供。

  3. arXiv · AI33

    LeWi 通过联合学习连接结构与权重提升样本效率

    研究人员提出 Learned Wiring (LeWi) 方法,通过联合训练神经元嵌入与权重来利用隐藏的计算结构,解决了高维统计学习中的样本效率问题。 LeWi 在 32 个新计算图目标上比稠密网络的平均学习曲线面积低 27%,并在 17 个世界模型预测任务中赢得了 119 次对比中的 99 次。 该方法证明,同时学习连接性与权重能有效利用计算结构,显著提升模型在层级结构任务上的样本效率。

  4. arXiv · AI36

    Qwen3.5 学习感知预算的多轮代理资源分配

    Qwen3.5 4B 和 9B 模型在 AppWorld 与 BabyAI 环境中学习感知预算的多轮代理,通过奖励反馈在 11 种目标函数下实现动态资源分配。 使用超支惩罚奖励可显著提升预算内成功率与自然合规性,Sigmoid 惩罚最优化成功率,固定负奖励增强合规性。 单个代理无需外部控制器即可适应用户指定的预算,该能力可零样本迁移至未见过的任务分布与基准测试。

  5. arXiv · AI33

    Africa-Papers:面向非洲基础语言模型的100亿Token多学科学术语料库

    针对全球预训练语料中非洲学术内容占比不足0.5%的现状,研究团队推出迄今最大规模的泛非多学科学术语料库Africa-Papers。该语料库包含超过844,807篇全文论文和101.5亿个Token,数据整合自DOAJ索引的31个非洲国家期刊、CGIAR农业库、arXiv预印本及OpenAlex开放获取文献,并处理为保留层级结构的Markdown格式。

  6. arXiv · AI29

    OptScientist:自动化发现优化定律的框架

    研究人员推出 OptScientist,该框架通过 LLM 智能体系统从数据中自动发现紧凑的符号优化定律。 在包含 99 个物理问题的 OptFeynman 基准中,该模型恢复了超过 80% 的真实定律,且性能大幅优于机器学习、符号及 LLM 基线。 该框架将自动化科学发现扩展至物理、生物、行为和社会科学领域,实现跨学科的自动化理论构建。

  7. arXiv · AI20

    分阶段持续适配多模态基础模型用于日本金融文档

    追踪一个 8.4B 参数模型在日本金融文档上的三阶段后训练发现,各阶段能力交换非加性,最佳检查点因任务而异。 纯数学蒸馏会覆盖早期金融知识但保留程序性数学技能,领域阶段修复多于安装,跳过阶段消融虽最优但失去数值推理收益。 这意味着检查点保留和调度策略需根据任务动态调整,而非简单增加训练阶段。

  8. arXiv · AI29

    E8-QAT:采用隐式格码本的高效2位量化感知训练

    提出的 E8-QAT 框架使用 E8 隐式格码本进行 2 位量化,在 Qwen3.6-35B-A3B 上四项任务平均分与全精度模型持平。 该方法通过算术投影避免训练时搜索显式码本,比最先进基线在 IFEval 高 2.03%,在 LiveCodeBench 高 1.51%。 2 位表示将峰值内存降低 80%,最大可行批次下的解码吞吐量达 BF16 的 1.97 倍。

  9. arXiv · AI28

    Ask-to-Distill:用于在策略知识蒸馏的合成分布式提问框架

    研究提出 Ask-to-Distill 框架,将合成问题作为分布提取器,用于优化在策略知识蒸馏过程中的监督信号。 该框架通过结合师生模型分歧与教师模型在学生候选支持集上的概率质量,计算无需参考答案的分布替代奖励来筛选和优化问题。 该方法在数学推理、代码生成和智能体任务上提升了模型平均性能并缩小了师生差距,相关代码与模型已公开提供。

10月20日周二
  1. arXiv · AI29

    深度学习与大脑的物理学统一框架

    研究提出基于非平衡统计物理的统一框架,证实描述大脑神经元雪崩的方程同样适用于深度神经网络级联活动。 网络在吸收相与活跃相之间的准临界状态下学习效果最佳。通过有限尺寸标度,研究识别出包括Barkhausen噪声和定向渗流在内的不同普适类。

  2. arXiv · AI31

    LSTMem: 面向大语言模型的分层长短期在线记忆

    提出LSTMem,一种受LSTM启发的在线记忆模块,为冻结LLM每层配备细胞状态与隐藏状态,在Qwen3-4B-Instruct上提升MemoryAgentBench、LoCoMo和HotpotQA成绩。 LSTMem通过门控机制分离记忆积累与表达,并利用跨层前向传播与高层重建梯度优化下层状态,优于基于联想记忆的对照方案。 代码已开源。

  3. arXiv · AI26

    Differential Functionalism: Jacobians Shape the Structure of Phenomenal Experience

    论文提出微分功能主义假设,认为物理相互作用的一阶结构(Jacobian)塑造现象体验的结构。 引入透明度(有效秩)和完整性(归一化代数连通度)两个度量,通过示例推导重叠体验、系统边界及时间厚度等现象特征。 该框架可在人工网络中大规模计算,并估算脑区扰动数据,相关代码已开源。

  4. arXiv · AI29

    序列蒸馏的选择性:基准知识与后门行为的差异

    知识蒸馏对不同教师属性的传递具有选择性,基准关联知识成功通过所有四种序列蒸馏渠道传递,而拒绝后门行为几乎未被学生模型继承。 Logit 蒸馏能显著传递后门行为,在未见过后门示例的学生中触发拒绝率达 85.5%,表明选择标准取决于教师属性的结构而非数据。 代码已在 GitHub 开放获取。

  5. arXiv · AI21

    FinSafeGuard:面向金融 AI 安全的合成数据集

    论文提出 FinSafeGuard,通过四阶段管道生成 14.3M 高质量合成训练样本,涵盖 Banking、Insurance 等三个金融领域。 管道包含条件自动演化、语义去重及 LLM-as-Judge 过滤;去重率根据领域差异在 9.9% 至 40.6% 之间波动。 该框架将 26.4M 原始样本精简为 14.3M 高置信度样本,提供了可复现的领域特定数据生成方法。

  6. arXiv · AI28

    评估建筑数据集 AI 就绪度:多维度操作框架

    该研究提出包含 30 项属性、4 个维度的建筑数据集 AI 就绪度框架,用于评估元数据、质量、治理及 AI 效用。 框架在 21 个公开数据集上验证,整体就绪度得分介于 0.720 至 0.964 之间,混合验证达成 90.5% 一致性。 该框架支持对异构建筑数据集进行一致评估并识别就绪度差距。

  7. arXiv · AI26

    基于不完整机场观测的LBS数据推断美国境内航空行程的两阶段混合框架

    针对机场观测缺失问题,研究提出两阶段混合框架,利用约1000万用户和1.31亿次观测的LBS数据推断美国境内航空行程。 第二阶段概率模型将航线覆盖率从10.65%提升至50.60%,Spearman相关系数由0.4490升至0.7630,并恢复92.2%的第一阶段参考行程。 该框架定义了三种端点观测状态,帮助机场机构识别不完整观测下遗漏的国内航空出行模式。

  8. arXiv · AI23

    Resonance:通过蒸馏与自训练提升小分子合成反应预测的鲁棒性研究

    Resonance 模型利用前沿监督启动开源模型的前向反应预测,显著提升小分子药物设计的推理能力。 该模型通过蒸馏教师模型的推理轨迹并结合自验证输出训练,将接近零准确率的基座模型转化为有效的反应预测器,且强学生模型仅靠蒸馏即超越教师。 研究表明准确性未带来鲁棒推理,小模型易在质疑下放弃正确答案,凸显化学推理模型评估需兼顾答案准确率与推理鲁棒性。

  9. arXiv · ML23

    多样性感知主动学习构建面向当前与未来目标的材料数据集

    提出结合预测分歧与材料特征多样性的获取框架,解决数据集对当前属性优化但丢失未来信息的问题。 在四个DFT数据集和一个实验热电材料数据集上,NSGA-II Dis. + diversity框架表现最稳健,保持当前目标预测高于随机采样并提升排除属性性能。 该框架为构建无偏材料数据集、缓解后续建模冷启动限制提供实用路径。