CHIMERA:用于可泛化 LLM 推理的紧凑合成数据集
研究者发布包含 9K 样本的紧凑合成推理数据集 CHIMERA,覆盖 8 大科学领域并采用全自动化评估流程。 该数据集利用前沿模型生成长 CoT 轨迹,用于 Qwen3-4B 模型的 SFT 和 RL 后训练。 实验显示,该小模型在 GPQA-Diamond 等基准上性能接近 DeepSeek-R1 和 Qwen3-235B。
研究者发布包含 9K 样本的紧凑合成推理数据集 CHIMERA,覆盖 8 大科学领域并采用全自动化评估流程。 该数据集利用前沿模型生成长 CoT 轨迹,用于 Qwen3-4B 模型的 SFT 和 RL 后训练。 实验显示,该小模型在 GPQA-Diamond 等基准上性能接近 DeepSeek-R1 和 Qwen3-235B。
研究证明AWQ和GPTQ是激活敏感性统一框架的特例。 通过构建梯度加权激活敏感性损失,提出SAQ-GPTQ方法。在模拟中,该方法比非加权GPTQ将INT3/INT4额外损失降低约3倍。
微调模型对子群表现的依赖由预训练模型潜在空间中子群的可分程度决定。 该假设经四个视觉与语言数据集实证验证,并通过正则化实验呈现因果证据。
研究团队发布 MedHal 数据集,专用于评估和训练医学文本幻觉检测模型。该数据集包含覆盖内在与外在幻觉的多样化医学文本及大量样本。经基准测试,基于 MedHal 训练的模型性能优于通用检测方案。
Typhoon 是一种利用掩码语言模型损失梯度评估词元贡献的动态掩码策略,旨在改进下游任务迁移效果。 实验在 TinyBERT、DistilBERT 和 BERT-base 上测试 Typhoon,对比随机及整词掩码,共执行 90 次训练。 多随机种子评估表明 Typhoon 在 MRPC 和 CoLA 任务上未优于基线,其单轮性能优势在统计检验中不显著。
在四项 CAD 领域基准测试中,IndustryForge-27B 平均比其基座模型 Qwen3.5-VL-27B 提升 33.65 个百分点,并在全部四项测试中超越闭源模型 GPT-5.4。
TabProbe 提出一种模型无关的关联规则学习框架,利用表格基础模型作为条件概率估计器,直接从模型中提取关联规则,无需传统频繁项目集挖掘。 在低数据场景下,该方法无需任务特定训练即可生成简洁且高质量的规则,具备强鲁棒性。 扩展版本已发表在 TMLR,开源代码已提供。
研究人员提出 Learned Wiring (LeWi) 方法,通过联合训练神经元嵌入与权重来利用隐藏的计算结构,解决了高维统计学习中的样本效率问题。 LeWi 在 32 个新计算图目标上比稠密网络的平均学习曲线面积低 27%,并在 17 个世界模型预测任务中赢得了 119 次对比中的 99 次。 该方法证明,同时学习连接性与权重能有效利用计算结构,显著提升模型在层级结构任务上的样本效率。
Qwen3.5 4B 和 9B 模型在 AppWorld 与 BabyAI 环境中学习感知预算的多轮代理,通过奖励反馈在 11 种目标函数下实现动态资源分配。 使用超支惩罚奖励可显著提升预算内成功率与自然合规性,Sigmoid 惩罚最优化成功率,固定负奖励增强合规性。 单个代理无需外部控制器即可适应用户指定的预算,该能力可零样本迁移至未见过的任务分布与基准测试。
针对全球预训练语料中非洲学术内容占比不足0.5%的现状,研究团队推出迄今最大规模的泛非多学科学术语料库Africa-Papers。该语料库包含超过844,807篇全文论文和101.5亿个Token,数据整合自DOAJ索引的31个非洲国家期刊、CGIAR农业库、arXiv预印本及OpenAlex开放获取文献,并处理为保留层级结构的Markdown格式。
基于 δ-SNLI 的研究表明,将信息表述为“有人声称”相比直接告知,会导致 LLM 的方向性概率变化幅度平均降低 2-5 个百分点,且反向移动比例在七种配置中均有所上升。
成对比较框架将回归重构为相对排序聚合,提升模型数据效率。 在 UTKFace 数据集上,ResNet10 经成对学习后 MAE 达 3.64 年;STL10 分类中准确率提升最高 5.2%。 该监督方式在标注数据有限时表现优异,尤其适用于临床场景。
随机Token替换在重复预训练数据中能降低验证损失,但现有方法难以区分误差来源。 研究通过熵分解揭示其缩减效应及在十个语料库中降低最终损失的效果。 对韩语、日语等文本,其降低了三分之一的最小值后损失上升。
提出Projected Distillation方法,通过最小化编辑学生失败尝试生成正确目标,实现近on-policy学习。 在Qwen3-8B和OLMo-2-7B模型上验证,该方法在9个对比单元中8个优于GRPO和OPD,7个优于SPOT和SODA。 保留率从0.916降至0.744时,最小修正策略优于通用gold solutions。
ICLHerd 提出利用 In-Context Learning 作为验证代理的 LLM 数据选择框架。 该框架引入 von Mises-Fisher 核函数以平衡 mode-seeking 与 mode-averaging 偏差。 实验表明 ICLHerd 优于现有 LLM 数据选择算法。
研究提出基于时间邻近性的自监督框架,从自由行为大鼠的短期运动轨迹中学习紧凑表征,无需人工定义行为状态。结果显示,1秒的运动轨迹即包含个体身份与学习相关信号,自我中心姿态动态更利于预测身份,而外心运动更利于预测学习差异。
研究提出激活空间探索(ASE)方法,在 Qwen3-1.7B-Base 和 Qwen3-8B-Base 上通过 DAPO-Math-17k 训练,将六项数学推理基准的 Mean@8 平均成绩分别较 GRPO 提升 4.87 和 1.87 个百分点。
该研究将蛋白质结合适配体设计作为 AI 系统湿实验闭环的沙盒,在三轮约 4400 个候选中,新候选在 alpha-凝血酶靶点的 on-target 命中率先降后升至 42.1%,myoglobin 则升至 33.5%。
研究人员推出 OptScientist,该框架通过 LLM 智能体系统从数据中自动发现紧凑的符号优化定律。 在包含 99 个物理问题的 OptFeynman 基准中,该模型恢复了超过 80% 的真实定律,且性能大幅优于机器学习、符号及 LLM 基线。 该框架将自动化科学发现扩展至物理、生物、行为和社会科学领域,实现跨学科的自动化理论构建。
该研究在 2 位量化下利用向量码本和联合数据选择,使 3.8B 至 32B 参数模型保留 89% 至 97% 的全精度 QA 准确率,避免精度降至随机水平。 方法采用 2.3 位有效权重位宽,配合少量任务对齐校准混合数据及低成本码本恢复阶段,比最强 QAT 基线节省 1.4 至 30 倍计算量。
追踪一个 8.4B 参数模型在日本金融文档上的三阶段后训练发现,各阶段能力交换非加性,最佳检查点因任务而异。 纯数学蒸馏会覆盖早期金融知识但保留程序性数学技能,领域阶段修复多于安装,跳过阶段消融虽最优但失去数值推理收益。 这意味着检查点保留和调度策略需根据任务动态调整,而非简单增加训练阶段。
Gradus 将固定环境视为潜在课程大纲,通过提取受保护的行为算子并联合校准任务与解,避免了现有合成流水线仅保留即时可解任务的偏差,将验证转化为恢复信号。
提出的 E8-QAT 框架使用 E8 隐式格码本进行 2 位量化,在 Qwen3.6-35B-A3B 上四项任务平均分与全精度模型持平。 该方法通过算术投影避免训练时搜索显式码本,比最先进基线在 IFEval 高 2.03%,在 LiveCodeBench 高 1.51%。 2 位表示将峰值内存降低 80%,最大可行批次下的解码吞吐量达 BF16 的 1.97 倍。
研究提出 Ask-to-Distill 框架,将合成问题作为分布提取器,用于优化在策略知识蒸馏过程中的监督信号。 该框架通过结合师生模型分歧与教师模型在学生候选支持集上的概率质量,计算无需参考答案的分布替代奖励来筛选和优化问题。 该方法在数学推理、代码生成和智能体任务上提升了模型平均性能并缩小了师生差距,相关代码与模型已公开提供。
在 4-bit 量化下,PTQ 校准效果由更新剂量 D_func 主导,可导致 NDCG@10 变动达 -71.53 点。 验证门控规则在 30 次决策中未选出低于基线的检查点,保留 8/11 有益更新,平均 oracle regret 1.52 pp。 该策略以安全性换取机会收益,并非免费改进。
本文基于 Strategy One (March 2026) 版本,展示如何用 Strategy Mosaic 在 AWS Redshift 与 Aurora 间构建 C360 语义层。
研究理论证明同步 SGD 及其稳健变体 m-Synchronous SGD 在异构计算和通信场景中时间复杂度近优。 分析表明同步方法在随机延迟及工人对抗性部分参与下表现最优,仅差对数因子。尽管非通用解,但已满足多数现代异构场景需求。
研究提出PPML-Hybrid方法,允许异构客户端根据计算资源分布式选择HE或DP。 在组学数据集上,该方法在显著缩短计算时间的同时保持可比的预测准确率,且在同等或更严格隐私预算下优于纯DP方法。
研究提出基于非平衡统计物理的统一框架,证实描述大脑神经元雪崩的方程同样适用于深度神经网络级联活动。 网络在吸收相与活跃相之间的准临界状态下学习效果最佳。通过有限尺寸标度,研究识别出包括Barkhausen噪声和定向渗流在内的不同普适类。
提出LSTMem,一种受LSTM启发的在线记忆模块,为冻结LLM每层配备细胞状态与隐藏状态,在Qwen3-4B-Instruct上提升MemoryAgentBench、LoCoMo和HotpotQA成绩。 LSTMem通过门控机制分离记忆积累与表达,并利用跨层前向传播与高层重建梯度优化下层状态,优于基于联想记忆的对照方案。 代码已开源。
论文提出微分功能主义假设,认为物理相互作用的一阶结构(Jacobian)塑造现象体验的结构。 引入透明度(有效秩)和完整性(归一化代数连通度)两个度量,通过示例推导重叠体验、系统边界及时间厚度等现象特征。 该框架可在人工网络中大规模计算,并估算脑区扰动数据,相关代码已开源。
spora 提供 13,546 张标准化多路复用图像,覆盖 35 个队列、5 项技术。 配套 spora [io] 接口与 spora [bench] 基准,支持基础模型训练。 已接收至 NeurIPS 2026,推动跨队列模型训练与评测。
知识蒸馏对不同教师属性的传递具有选择性,基准关联知识成功通过所有四种序列蒸馏渠道传递,而拒绝后门行为几乎未被学生模型继承。 Logit 蒸馏能显著传递后门行为,在未见过后门示例的学生中触发拒绝率达 85.5%,表明选择标准取决于教师属性的结构而非数据。 代码已在 GitHub 开放获取。
论文提出 FinSafeGuard,通过四阶段管道生成 14.3M 高质量合成训练样本,涵盖 Banking、Insurance 等三个金融领域。 管道包含条件自动演化、语义去重及 LLM-as-Judge 过滤;去重率根据领域差异在 9.9% 至 40.6% 之间波动。 该框架将 26.4M 原始样本精简为 14.3M 高置信度样本,提供了可复现的领域特定数据生成方法。
NCE 框架通过专用特殊 token 语法让 LLM Agent 原生编辑上下文,在 4 个长时程 agentic benchmark 上平均成功率提升 5.6 和 4.5 个百分点。
该研究提出包含 30 项属性、4 个维度的建筑数据集 AI 就绪度框架,用于评估元数据、质量、治理及 AI 效用。 框架在 21 个公开数据集上验证,整体就绪度得分介于 0.720 至 0.964 之间,混合验证达成 90.5% 一致性。 该框架支持对异构建筑数据集进行一致评估并识别就绪度差距。
针对机场观测缺失问题,研究提出两阶段混合框架,利用约1000万用户和1.31亿次观测的LBS数据推断美国境内航空行程。 第二阶段概率模型将航线覆盖率从10.65%提升至50.60%,Spearman相关系数由0.4490升至0.7630,并恢复92.2%的第一阶段参考行程。 该框架定义了三种端点观测状态,帮助机场机构识别不完整观测下遗漏的国内航空出行模式。
Resonance 模型利用前沿监督启动开源模型的前向反应预测,显著提升小分子药物设计的推理能力。 该模型通过蒸馏教师模型的推理轨迹并结合自验证输出训练,将接近零准确率的基座模型转化为有效的反应预测器,且强学生模型仅靠蒸馏即超越教师。 研究表明准确性未带来鲁棒推理,小模型易在质疑下放弃正确答案,凸显化学推理模型评估需兼顾答案准确率与推理鲁棒性。
Mirror 提出一种自监督方法,通过环境交互学习视频到动作映射,无需预置动作数据或手工奖励。 该方法在 Atari、OGBench 和 DeepMind Control 上超越领先的从观察学习(learning-from-observation)方法,在 Minecraft BASALT 上表现优于使用专家动作或手工任务知识的方法。
提出结合预测分歧与材料特征多样性的获取框架,解决数据集对当前属性优化但丢失未来信息的问题。 在四个DFT数据集和一个实验热电材料数据集上,NSGA-II Dis. + diversity框架表现最稳健,保持当前目标预测高于随机采样并提升排除属性性能。 该框架为构建无偏材料数据集、缓解后续建模冷启动限制提供实用路径。