跳到正文
11月17日周二
  1. arXiv · AI38

    Concept Influence:利用可解释性改进训练数据归因的性能与效率

    研究人员提出Concept Influence方法,将模型行为归因于语义方向(如线性探针或稀疏自编码器特征),而非单个测试样本,从而克服传统影响函数计算成本高且偏向句法相似性的缺陷。 探针归因法作为一阶近似,性能相当但速度快一个数量级以上,实验验证其在新兴错对齐基准和真实后训练数据集上具备可扩展性,支持通过数据更可控地管理模型行为。

  2. arXiv · AI36

    重读并非免费:LLM 软件工程中 Token 轨迹与缓存感知能耗估算

    基于 10 周真实软件开发场景分析,缓存上下文读取占 API 报告 Token 的 94.8%,缓存感知混合估算器评估该工作负载能耗约为 250 kWh。 现有基于输出的 EcoLogits 估算器仅评估 10 kWh,两者存在 25 倍差异;父会话日志对委托子代理 Token 存在 10 倍低估。 研究凸显工作流级能耗核算的必要性,需涵盖上下文累积、缓存复用及委托执行场景。

  3. arXiv · ML31

    物理索引专家记忆缓解灾难性遗忘:进化神经可塑智能体

    ENA架构通过进化搜索生成专家网络,结合环境检测和贝叶斯策略重用,旨在缓解持续强化学习中的灾难性遗忘。 在30次重复的非平稳CartPole消融实验中,完整架构在5个测试环境中的平均成功率达到83.2%。 该架构在CartPole上适应速度低于PPO,且在HalfCheetah上的收益低于SAC。

  4. arXiv · ML23

    MegNIST:用于非侵入性内心言语解码的基准

    MegNIST 发布首个非侵入性 MEG 内心言语解码基准,基于单参与者想象数字 0-9 的 12,000 次试验,支持 BIDS 格式。 包含 306 通道 250 Hz 数据,提供 10,000 训练、1,000 验证及 1,000 测试集,基线解码显著高于偶然,配套 PyTorch 加载器降低门槛。 标准化分割与验证基线降低非侵入性脑机接口解码方法的开发与评测门槛。

  5. arXiv · ML38

    潜反馈是算力与数据放大器

    潜反馈(Latent Feedback)机制在固定数据或算力时,分别比标准Transformer减少48%算力和47%数据消耗。 该结论基于60M至778M参数模型的实验与缩放定律拟合,预测误差控制在0.3%以内。 当数据而非算力成为瓶颈时,潜反馈是给定规模模型更高效的算力利用方式。

  6. arXiv · ML33

    联邦数据集模拟:跨任务诱导无标签异构性

    论文提出联邦数据集模拟任务,通过预训练嵌入和视觉语言模型标准实现无标签划分,覆盖四类数据集。实验显示其诱导的异构性不低于标签偏斜方法,并开源了包含模拟、测量及训练全流程的模块化包 fds。该方法解决了非分类任务缺乏模拟方法的问题,为联邦学习评测提供了新基准。

  7. arXiv · ML28

    介观神经算子:基于分子动力学学习非线性本构定律以实现可扩展断裂预测

    研究提出介观神经算子(MNO),一种从分子动力学数据学习的非局部本构模型,用于大尺度断裂模拟。 模型内置归一化核与重缩放临界键伸长率以保证跨尺度物理一致性;在粗粒度MD数据中,学习到的应变能密度和临界能量释放率误差在3%以内。 该框架在面积扩大4000倍的含缺陷板材上成功复现了动态脆性断裂及分叉网络特征。

  8. arXiv · ML21

    PBit1:一个可编程 P-Bit 对应一个参数——预训练网络的有限控制表示

    PBit1 将预训练网络每个参数映射为一个可编程 p-bit,12-bit 指令设定其概率,通过共享仿射范围映射至权重域,并以时间观测重建权重用于推理。 在 GPT-2、DistilBERT 和 LFM3-1.7B 上,转换所有可学习标量且无微调,困惑度分别增加约 0.66% 和 0.26%,DistilBERT 准确率从 87.51% 变为 87.49%。

  9. arXiv · AI20

    HARMONIX:知识引导生成系统中结构约束的局限性评估

    HARMONIX 框架揭示了局部有效的决策未必能维持人类决策中的上下文关系。 该研究利用 19,745 条记录进行实验,发现综合约束在稳定结构中提高约 5 个百分点的根音程一致性,但在转调跟踪情境下降低近 9 个百分点。 这一结果证明可解释约束可能引入被整体准确率指标掩盖的系统性失败。

  10. arXiv · ML26

    理解预训练中推理数据的作用

    研究表明,在预训练中,原子训练信号的最优权重随推理链长度增加而增大,并随未纳入推理监督的事实比例增加而减小。 该结论在线性 Transformer 及包含 MLP 的全 Transformer 层中均得到验证,且在多跳推理和数学预训练的自然语言设置中确认了推理复杂性与数据覆盖率的调节作用。

  11. arXiv · AI26

    LABEL:Qwen2.5 在药物适应症与禁忌症文献不对称中的表现研究

    Qwen2.5 在药物文献中展现适应症与禁忌症的记录不对称(LABEL),574 种药物中适应症提及频率约为禁忌症的 2.19 倍。 Qwen2.5 从 0.5B 扩容至 14B 时,适应症准确率提升 18.3 个百分点,而禁忌症准确率接近随机猜测;提供检索片段或路由至 FDA 标签可显著改善安全性问答效果。

  12. arXiv · AI23

    Meta CLEAR 系统通过可编辑自然语言兴趣层实现透明可控的个性化推荐

    Meta 部署的 CLEAR 推荐架构将用户偏好转化为可检查、可修改的自然语言兴趣层,取代不可见的向量表示。 用户评价约 88.5% 的显示兴趣准确;离线测试中 3B 专用生成器 F1@10 达 0.3967,优于 Gemini 2.5 Pro。 该系统已在 Instagram 和 Facebook 运行超一年,支持用户对推荐兴趣进行纠正和引导。

  13. arXiv · ML35

    ECOD: 用于多轮智能体的经验校准策略蒸馏

    提出ECOD方法,在ALFWorld和WebShop基准上,使用Qwen2.5-1.5B和7B模型时,将标准OPD的相对成功率提升最高4.06%。 通过在任务、轨迹和回合层面分配教师监督,ECOD在ALFWorld未见任务上实现6.20%平均相对增益,WebShop增益介于2.29%至21.60%。 该机制可作为跨不同蒸馏目标的可复用监督分配方法。

  14. arXiv · ML26

    FedFit 通过 Fisher 信息评分实现联邦动态稀疏训练

    FedFit 提出基于 Fisher 信息矩阵的联邦动态稀疏训练框架,显著缩小稀疏与密集模型间的准确率差距。 该框架利用损失景观的二阶近似替代幅值启发式,在无显式 Hessian 计算开销下实现高效结构调整。 实验显示其在 CV 和 NLP 基准上优于 SOTA 方法并保持高通信效率,代码已开源。

  15. arXiv · ML25

    制造业预测性维护中持续机器学习的操作价值

    针对博世(Bosch)25 种产品配置在五年内的域增量学习难题,结合持续机器学习与鲁棒优化可提升维护模型性能。 实验表明该方法在预测性能和维护成本上优于微调、在线学习等基线,相关成本指标降低超 40%。 结果证明在无法保留全部历史制造数据且产品组合不断扩展时,持续机器学习对维护决策支持具有实际价值。

  16. arXiv · NLP32

    WAXAL:一个覆盖 27 种非洲语言的大规模多语言语音语料库

    研究团队发布 WAXAL,这是一个开放且大规模的多语言语音数据集,覆盖 27 种非洲语言,代表超过 1 亿使用者。该数据集包含逾 14,100 小时的语音数据,其中自动语音识别(ASR)语料库有 2,340 小时带转录文本的图像提示自然语音,跨 19 种语言(另有约 11,760 小时未转录音频);合成语音(TTS)语料库约 247 小时,覆盖 15 种语言配置。

  17. arXiv · NLP35

    基于梯度的数据归因方法更关注形式而非内容

    研究显示,在监督微调示例中,基于梯度的数据归因方法追踪的是答案格式相似性而非任务语义。当基准测试共享答案格式时,梯度对齐显著(非衰减余弦相似度接近0.4),而不同格式间无对齐(接近0.0)。这一排序从预训练早期检查点贯穿至后训练阶段,并跨模型规模与家族成立。这表明梯度基于的方法需在与答案格式和任务独立变化的数据上进行测试,以提升鲁棒性和可靠性。

  18. arXiv · NLP21

    孟加拉语文本到手语标注(Gloss)翻译数据集与基准发布:包含 1,000 条人工标注及 4,000 条合成数据

    该工作构建了首个公开的孟加拉语文本到 Gloss 翻译数据集,包含 1,000 条人工标注、4,000 条合成数据及 159 条测试对。 实验对比了微调开源模型与 GPT-5.4,GPT-5.4 自动指标得分最高,但较小的开源模型表现也具有竞争力。 这证明了系统性生成的合成数据在解决低资源手语翻译挑战中的有效性。

  19. arXiv · NLP34

    大语言模型阅读央行文本时存在时序数据污染

    针对大语言模型阅读 FOMC 文本进行经济预测时的时序数据污染,研究发现部分技能源于对结果的记忆。在 2000 至 2026 年的 FOMC 声明和会议纪要上,仅凭先验信息的模型对过去 GDP 预测的 AUC 可达 0.64。 研究通过对比时间一致性模型,发现实时预测中的前瞻优势在多重检验校正后不可检测,建议直接评估记忆效应。

  20. arXiv · NLP32

    审计 LLM 合成受访者的人口统计信息披露

    研究发现向 LLM 合成受访者提供人口统计信息对个体预测增益微小,多数群体估计增益可被普查数据或合成画像替代。在 11 个开源模型和 3 个托管模型中,模型倾向于使群体差异扁平化,尤其是宗教和民族差异。 该研究基于两项美国调查,对比了 LLM 与统计模型在相同信息下的表现。 作者提出了一种审计方法,帮助调查机构判断哪些估计可以使用人口统计记录。

  21. arXiv · NLP44

    LLMs 作为肿瘤学世界模型的表征与局限性分析

    研究发现,LLM 生成的癌症患者病例中,81.0% 至 93.2% 的患者在关键特征上高度相似。 在 12 个临床场景中,LLM 仅遵循 29/36 次的生物标志物与治疗逻辑,涉及既往治疗或虚弱情况时准确率极低。其预测的 12 个月生存率为 89.9%,高于 72.2% 的观测值。 研究提出的临床状态空间框架可评估数字孪生,旨在改进 LLM 的世界模型以支持临床模拟。

  22. arXiv · NLP31

    基于功能标度律的最优批大小调度分析

    功能标度律(FSL)揭示了最优批大小调度(BSS)结构依赖任务难度:易任务全程增批,难任务则后期切换大批。 该机制源于“快速追赶效应”,即小批切大批后梯度噪声快速遗忘,使损失迅速对齐;难任务可延后大批使用以显著降低数据消耗。 在1.1B参数和1T token的Dense及MoE LLM预实验中,后期切换调度持续优于固定或早期切换基线。