Concept Influence:利用可解释性改进训练数据归因的性能与效率
研究人员提出Concept Influence方法,将模型行为归因于语义方向(如线性探针或稀疏自编码器特征),而非单个测试样本,从而克服传统影响函数计算成本高且偏向句法相似性的缺陷。 探针归因法作为一阶近似,性能相当但速度快一个数量级以上,实验验证其在新兴错对齐基准和真实后训练数据集上具备可扩展性,支持通过数据更可控地管理模型行为。
研究人员提出Concept Influence方法,将模型行为归因于语义方向(如线性探针或稀疏自编码器特征),而非单个测试样本,从而克服传统影响函数计算成本高且偏向句法相似性的缺陷。 探针归因法作为一阶近似,性能相当但速度快一个数量级以上,实验验证其在新兴错对齐基准和真实后训练数据集上具备可扩展性,支持通过数据更可控地管理模型行为。
基于 10 周真实软件开发场景分析,缓存上下文读取占 API 报告 Token 的 94.8%,缓存感知混合估算器评估该工作负载能耗约为 250 kWh。 现有基于输出的 EcoLogits 估算器仅评估 10 kWh,两者存在 25 倍差异;父会话日志对委托子代理 Token 存在 10 倍低估。 研究凸显工作流级能耗核算的必要性,需涵盖上下文累积、缓存复用及委托执行场景。
在EmbryoNet数据集上,ResNet50结合SwAV的自监督模型表现最优。线性分类器准确率达86.4%,与全监督模型持平。 标签稀缺时,SwAV模型在5%标签下准确率70.2%,远超从头训练的45.7%。 迁移至未见数据集,SwAV模型达81.3%,优于EmbryoNet的75.9%。
Olmo-core 更新训练栈以支持可扩展 MoE 训练,采用 DDP 及 Expert Parallelism,避免传统 FSDP 的高吞吐损耗。 支持 1.2 万亿参数在 512 GPU 下达到 858 TFLOP/s/GPU,DeepEP v2 后端可扩展至 2.38 万亿。 提出 Token Gerrymandering 缺陷,发现重叠通信会显著拖慢 Kernel 速度。
ENA架构通过进化搜索生成专家网络,结合环境检测和贝叶斯策略重用,旨在缓解持续强化学习中的灾难性遗忘。 在30次重复的非平稳CartPole消融实验中,完整架构在5个测试环境中的平均成功率达到83.2%。 该架构在CartPole上适应速度低于PPO,且在HalfCheetah上的收益低于SAC。
基于 GLM-4.7-Flash,采用全文件微调、C++ 修复课程及组相对强化学习。 该流程利用执行反馈构建奖励,在 26 项 C++ 任务中评估模型性能。 最强配置首轮成功率 45.2%,两轮内达 61.5%。
MegNIST 发布首个非侵入性 MEG 内心言语解码基准,基于单参与者想象数字 0-9 的 12,000 次试验,支持 BIDS 格式。 包含 306 通道 250 Hz 数据,提供 10,000 训练、1,000 验证及 1,000 测试集,基线解码显著高于偶然,配套 PyTorch 加载器降低门槛。 标准化分割与验证基线降低非侵入性脑机接口解码方法的开发与评测门槛。
Open-fMIND 发布首个大规模开放获取 fMRI 语料库,基于 322 项 OpenNeuro 研究,涵盖 11,379 名受试者与 45,731 个功能运行序列。
潜反馈(Latent Feedback)机制在固定数据或算力时,分别比标准Transformer减少48%算力和47%数据消耗。 该结论基于60M至778M参数模型的实验与缩放定律拟合,预测误差控制在0.3%以内。 当数据而非算力成为瓶颈时,潜反馈是给定规模模型更高效的算力利用方式。
基准数据污染正以前所未有的尖锐形式出现。过去一个月,基准数据泄露已从后训练扩展到预训练。针对四个公开基础模型,研究通过20项基准的少样本续写发现,部分模型会输出未出现在输入中的其他完整测试题及选项。
论文提出联邦数据集模拟任务,通过预训练嵌入和视觉语言模型标准实现无标签划分,覆盖四类数据集。实验显示其诱导的异构性不低于标签偏斜方法,并开源了包含模拟、测量及训练全流程的模块化包 fds。该方法解决了非分类任务缺乏模拟方法的问题,为联邦学习评测提供了新基准。
研究提出介观神经算子(MNO),一种从分子动力学数据学习的非局部本构模型,用于大尺度断裂模拟。 模型内置归一化核与重缩放临界键伸长率以保证跨尺度物理一致性;在粗粒度MD数据中,学习到的应变能密度和临界能量释放率误差在3%以内。 该框架在面积扩大4000倍的含缺陷板材上成功复现了动态脆性断裂及分叉网络特征。
GEAR^2 在 16B 至 106B 参数的 5 个 MoE LLM 上剪枝 25% 至 50% 专家,无训练重建功能。 利用门控复用激活专家输出,并引入超轻量残差块补足无法表达的内容。 在 9 项零样本基准上超越基线最高 2.75 个百分点,剪枝率更高时优势显著。
PBit1 将预训练网络每个参数映射为一个可编程 p-bit,12-bit 指令设定其概率,通过共享仿射范围映射至权重域,并以时间观测重建权重用于推理。 在 GPT-2、DistilBERT 和 LFM3-1.7B 上,转换所有可学习标量且无微调,困惑度分别增加约 0.66% 和 0.26%,DistilBERT 准确率从 87.51% 变为 87.49%。
HARMONIX 框架揭示了局部有效的决策未必能维持人类决策中的上下文关系。 该研究利用 19,745 条记录进行实验,发现综合约束在稳定结构中提高约 5 个百分点的根音程一致性,但在转调跟踪情境下降低近 9 个百分点。 这一结果证明可解释约束可能引入被整体准确率指标掩盖的系统性失败。
Qwen3-4B 通过自提议 Lua 5.1 程序并经解释器标注进行训练,在后续 2340 项新考试中准确率从 8.3% 提升至 16.7%。该流程分三轮增加数据量,累计 3300 条程序;在 27B 智能体及仓库任务上未观察到增益。
研究显示,后门语言模型的触发器仅通过权重即可被识别,无需运行模型。 该方法利用静态统计读取细调检查点,无需数据、标记毒化模型群体或预先知道后门存在,即可将触发短语中的一个词元标记为词汇表中的最高候选项。
summary_zh: EHRDiB 提出了一种统一电子健康记录(EHR)补全与合成的框架,结合共享多模态表示与证据条件化潜在扩散桥,区分原始缺失与隐藏输入。
研究表明,在预训练中,原子训练信号的最优权重随推理链长度增加而增大,并随未纳入推理监督的事实比例增加而减小。 该结论在线性 Transformer 及包含 MLP 的全 Transformer 层中均得到验证,且在多跳推理和数学预训练的自然语言设置中确认了推理复杂性与数据覆盖率的调节作用。
基于1000份全球ML与SE职位数据的分析显示,88.6%的ML职位要求合作技能,72.2%要求沟通技能,显著高于以往基于关键词的估算。 约五分之一的合作及四分之一的沟通要求以隐含方式表达;ML职位更侧重面向受众的展示,而SE职位侧重团队内部实践。
研究提出SLICES框架,用于在共享临床设置下对比评估ICU时间序列的自监督学习方法。该框架基于MIMIC-IV和eICU-CRD数据集,固定使用Transformer编码器和24小时输入,涵盖MAE、JEPA及对比学习等参考实现。
Qwen2.5 在药物文献中展现适应症与禁忌症的记录不对称(LABEL),574 种药物中适应症提及频率约为禁忌症的 2.19 倍。 Qwen2.5 从 0.5B 扩容至 14B 时,适应症准确率提升 18.3 个百分点,而禁忌症准确率接近随机猜测;提供检索片段或路由至 FDA 标签可显著改善安全性问答效果。
Meta 部署的 CLEAR 推荐架构将用户偏好转化为可检查、可修改的自然语言兴趣层,取代不可见的向量表示。 用户评价约 88.5% 的显示兴趣准确;离线测试中 3B 专用生成器 F1@10 达 0.3967,优于 Gemini 2.5 Pro。 该系统已在 Instagram 和 Facebook 运行超一年,支持用户对推荐兴趣进行纠正和引导。
提出ECOD方法,在ALFWorld和WebShop基准上,使用Qwen2.5-1.5B和7B模型时,将标准OPD的相对成功率提升最高4.06%。 通过在任务、轨迹和回合层面分配教师监督,ECOD在ALFWorld未见任务上实现6.20%平均相对增益,WebShop增益介于2.29%至21.60%。 该机制可作为跨不同蒸馏目标的可复用监督分配方法。
RSIMed-27B 在罕见病诊断中准确率随计算量线性增长,无外部模型辅助下达到 0.516 诊断准确率。 优于 GPT-5.6 最佳设置的 0.399,且推理成本仅为后者的 1/38;自生成任务训练效果优于 GPT-5.5 等外部教师生成的任务。
FedFit 提出基于 Fisher 信息矩阵的联邦动态稀疏训练框架,显著缩小稀疏与密集模型间的准确率差距。 该框架利用损失景观的二阶近似替代幅值启发式,在无显式 Hessian 计算开销下实现高效结构调整。 实验显示其在 CV 和 NLP 基准上优于 SOTA 方法并保持高通信效率,代码已开源。
针对博世(Bosch)25 种产品配置在五年内的域增量学习难题,结合持续机器学习与鲁棒优化可提升维护模型性能。 实验表明该方法在预测性能和维护成本上优于微调、在线学习等基线,相关成本指标降低超 40%。 结果证明在无法保留全部历史制造数据且产品组合不断扩展时,持续机器学习对维护决策支持具有实际价值。
该研究提出 Check Token 机制,首次在语言模型生成流中建立内置自我校验。模型通过输出功能标记触发检查、定位、截断与重写,该标记不携带推理内容。 实验基于 Qwen3-32B 和 Qwen3-Next 进行,在 HMMT25 任务上带来 10.8 pp 性能提升,开销系数为 1.13x,token 效率是 Best-of-8 的 88 倍。
研究团队发布 WAXAL,这是一个开放且大规模的多语言语音数据集,覆盖 27 种非洲语言,代表超过 1 亿使用者。该数据集包含逾 14,100 小时的语音数据,其中自动语音识别(ASR)语料库有 2,340 小时带转录文本的图像提示自然语音,跨 19 种语言(另有约 11,760 小时未转录音频);合成语音(TTS)语料库约 247 小时,覆盖 15 种语言配置。
研究显示,在监督微调示例中,基于梯度的数据归因方法追踪的是答案格式相似性而非任务语义。当基准测试共享答案格式时,梯度对齐显著(非衰减余弦相似度接近0.4),而不同格式间无对齐(接近0.0)。这一排序从预训练早期检查点贯穿至后训练阶段,并跨模型规模与家族成立。这表明梯度基于的方法需在与答案格式和任务独立变化的数据上进行测试,以提升鲁棒性和可靠性。
提出 Relay-OPD 方法解决在策略蒸馏中的前缀失败问题,通过教师在触发点接管生成教师腿并移交给学生。 使用 Qwen3-4B-Instruct-2507 作为教师模型,Relay-OPD 在 8 个基准上平均优于标准 OPD 5.73%,且减少超过 50% 的训练轨迹长度。
CD4LM 提出可组合框架加速扩散语言模型,在 GSM8K 上实现 5.18 倍加速且保持准确率,叠加缓存加速器后达 9.73 倍。 核心组件 Discrete-Space Consistency Distillation (DSCD) 训练轨迹不变学生模型,结合 ConfidenceAdaptive Decoder 解决静态到动态不匹配。
该工作构建了首个公开的孟加拉语文本到 Gloss 翻译数据集,包含 1,000 条人工标注、4,000 条合成数据及 159 条测试对。 实验对比了微调开源模型与 GPT-5.4,GPT-5.4 自动指标得分最高,但较小的开源模型表现也具有竞争力。 这证明了系统性生成的合成数据在解决低资源手语翻译挑战中的有效性。
针对大语言模型阅读 FOMC 文本进行经济预测时的时序数据污染,研究发现部分技能源于对结果的记忆。在 2000 至 2026 年的 FOMC 声明和会议纪要上,仅凭先验信息的模型对过去 GDP 预测的 AUC 可达 0.64。 研究通过对比时间一致性模型,发现实时预测中的前瞻优势在多重检验校正后不可检测,建议直接评估记忆效应。
研究发现向 LLM 合成受访者提供人口统计信息对个体预测增益微小,多数群体估计增益可被普查数据或合成画像替代。在 11 个开源模型和 3 个托管模型中,模型倾向于使群体差异扁平化,尤其是宗教和民族差异。 该研究基于两项美国调查,对比了 LLM 与统计模型在相同信息下的表现。 作者提出了一种审计方法,帮助调查机构判断哪些估计可以使用人口统计记录。
TrainExplorer 通过策略规划与解耦执行,在 PostTrainBench 上取得 39.02 分,超越 Claude Code 7.32 分并高于 GPT-5.6 Sol 驱动的 Codex。该框架利用文献构建策略搜索空间,通过单组件干预解决现有方法中的策略锁定与执行耦合问题,代码将公开。
研究发现,LLM 生成的癌症患者病例中,81.0% 至 93.2% 的患者在关键特征上高度相似。 在 12 个临床场景中,LLM 仅遵循 29/36 次的生物标志物与治疗逻辑,涉及既往治疗或虚弱情况时准确率极低。其预测的 12 个月生存率为 89.9%,高于 72.2% 的观测值。 研究提出的临床状态空间框架可评估数字孪生,旨在改进 LLM 的世界模型以支持临床模拟。
研究提出概念能量指标,揭示下一词元预测损失在预训练期间如何驱动不同概念的发展。该指标量化概念子空间与平均梯度外积的对齐程度。 实验基于 Pythia-410M 和 1B 模型的 19 个检查点及 12 种词法、句法与语义概念。
GRAFT 框架通过特征空间线性桥接实现跨骨干 LoRA 复用,突破同架构限制。 在 Qwen2.5 到 Qwen2.5-VL 的 10 项 Super-NaturalInstructions 文本任务中,GRaft 优于随机初始化 LoRA。 这为在连续学习中复用语言与多模态模型能力提供了有效机制。
功能标度律(FSL)揭示了最优批大小调度(BSS)结构依赖任务难度:易任务全程增批,难任务则后期切换大批。 该机制源于“快速追赶效应”,即小批切大批后梯度噪声快速遗忘,使损失迅速对齐;难任务可延后大批使用以显著降低数据消耗。 在1.1B参数和1T token的Dense及MoE LLM预实验中,后期切换调度持续优于固定或早期切换基线。