标签延迟与概念漂移下不平衡数据流的过采样决策框架
研究通过15个分类器在12条数据流上的实验,提出了不平衡数据流中过采样与连续重估的决策框架。 框架围绕漂移密度、少数类可学习性和延迟相对精化窗口三轴展开。重估在漂移活跃流中恢复延迟损失,但在静止流中无效。 过采样在真实数据中仅在一种配置下边际贡献显著,合成流的Pareto推荐无法迁移至真实场景。
研究通过15个分类器在12条数据流上的实验,提出了不平衡数据流中过采样与连续重估的决策框架。 框架围绕漂移密度、少数类可学习性和延迟相对精化窗口三轴展开。重估在漂移活跃流中恢复延迟损失,但在静止流中无效。 过采样在真实数据中仅在一种配置下边际贡献显著,合成流的Pareto推荐无法迁移至真实场景。
TIDE 系统通过在长尾 rollout 期间动态将 GPU 转用于训练并迁移任务,解决 LLM 同步 RL 后训练中因等待长尾导致的资源闲置问题。 该技术采用自适应迁移策略自动确定资源重分配时机,在多种硬件配置下无需定制配置即可提升解码吞吐量。 TIDE 实现端到端最高 1.36x 加速,优于所有评测的在线策略基线,达到最优吞吐量的 97%。
Muon 预训练中临时权重衰减存在延迟效应,1.4B 模型中 162M 选定的调度未调优直接转移比无衰减好 0.028 nats。 早期衰减导致持续权重范数不足,使相对步长在干预结束后保持较大,近似范数动力学重现了性能排序。 结果表明临时优化调度需在最终训练预算下评估,而非仅在移除时。
summary_zh: UUE 框架将知识遗忘重构为可控模型编辑,通过轻量级插件式适配器实现高效部署,在 TOFU 和 WMDP 基准上显著优于现有方法。 该方法将参数更新投影至保留知识的正交左零空间,利用凸非靶向目标推导闭式解析解,在不修改冻结主干的前提下推升遗忘集嵌入至对极点。
基于LLM的智能体预测系统虽具竞争力,但常因相关事件预测不满足概率公理而缺乏逻辑一致性。 研究通过微调监督语言模型,利用推理联合调和矛盾并提升准确性。在ForecastBench上,该方法使GPT-5.1的Brier score提升9.3%,结构不一致性降低82-90%。
模型退火通过复习与巩固实现数据高效学习,在CIFAR-100等数据集的33种配置中,平均将AdamW训练的模型top-1准确率提升1.3分。 该方法利用内存中的过去模型状态进行再学习,并在学生模型与内存预测分歧最大处生成对抗性梦境以优化训练。 它在校准和对抗鲁棒性上优于最近竞争对手snapshot distillation,且推理无额外成本。
专家混合路由从集成中获益有限。在4个任务上,增加路由器数量降低验证损失,最大化专家多样性提升3/4任务表现。 最大路由器多样性无效果。算术平均优于几何平均。收益被训练额外路由器的计算成本抵消。
PAL-Bench 发布,包含 50 个合成用户和 36,659 条照片记录,用于测试基于证据的画像重建。该基准通过隐私保护审计验证了数据结构的真实性,但在解决身份解析与证据引用方面仍有挑战。
三元组增量训练框架通过非侵入式方法,在保留通用 VLM 开放世界能力的同时注入 3D 几何感知,无需修改架构。 框架利用 (图像, 深度, QA 对) 三元组进行三流训练:主 VLM 流适配驾驶任务,辅助深度流隐式想象 3D 几何,冻结孪生 VLM 流通过 logit 级 KL 蒸馏防止语义漂移;部署时丢弃深度流,实现零推理开销。
研究人员开展 4 项患者来源类器官(PDO)药物筛选研究,生成多组学、药物特征及疗效反应数据。 研究在 3 种构建场景下对公开模型进行重训练与评估,涵盖仅用细胞系、混合数据及预训练微调。 评估了不同实验室和检测技术下药物筛选存活数据的一致性。
研究通过构建包含343份访谈转录的语料库,评估了10种访谈回应质量指标。直接与研究问题相关是回应质量的最强预测因子,而清晰度和基于惊奇度的信息量指标缺乏预测力。 该工作为定性研究设计和自动访谈系统的评估提供了可拓展的指标。
研究发现,ChatGPT 中更常见的活动会导致其在 Upwork 上的市场占比下降,反之则上升。 在 AI 相关工作中,客户需求变得多样化,任务组合方式发生变化,且项目预算和工作时长显著增加。 AI 正在重塑客户外包任务的类型以及如何将任务组合成更高价值的项目。
研究引入部署速度调整后的能源成本指标,发现直流耦合(DC coupling)平均降低生命周期能源成本 18%。 基于 85% 美国地区的经济分析显示,在考虑被放弃的计算性能后,直流耦合微电网成为最低成本方案。 部署速度而非单纯单位能源成本决定了 AI 基础设施的最优供电路径。
Mantis 2 结合模拟与观测数据,最多预测 16 周内的 6 个变量,在 30 项预测任务中取得最佳综合概率精度。 该模型比最强对比模型少遗漏约 30% 的疫情峰值,平均提前 6 周以上识别峰值。 已公开发布,支持跨疾病和地区预测,无需为每个场景开发独立模型。
预注册小样本测试显示,部分池化作为估计量优于合成受访者。 在五种校准预算下,多水平部分池化模型在所有仅校准估计量中领先,100名受访者的表现匹配直接估计需4倍样本量。 合成受访者作为协变量嵌入模型时,在未见过的细分领域中有效,优于单独使用。
针对多轮 LLM 智能体强化学习中因轨迹展开导致的统计重复计算与目标质量失衡问题,论文提出了结果质量对齐(Outcome-Mass Alignment, OMA)方法。
对基于 ModernBERT-large 的 Laya 模型进行 19 次微调实验发现,随着 LLM 生成训练数据量增加,准确率从 69.4% 升至 86.9%。
研究验证使用 Qwen3-0.6B 和 Qwen3-1.7B 的 8-bit 与低精度副本分歧进行错误检测。在 8,398 道选择题中,0.6B 模型 AUROC 达 0.684,但 1.7B 模型增益不显著。 发现该信号并非量化特有,重排序额外推理路径比单纯增加 8-bit 推理更优,且无法有效替代路由至更大模型。
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
VWEN 是基于 Qwen3.5-0.8B 微调的 0.8B 参数模型,支持越南语释义及简化等 5 项任务。 使用约 7k 样本经四阶段管道训练,在高发散释义任务中成功率达 0.61,优于 ViSP 模型的 0.46。 多任务训练保留了基础模型能力,而仅用释义数据训练会致能力丧失,且蕴含过滤阶段效果最佳。
针对法律领域 LLM 训练痛点,提出两阶段框架:Stage I 采用 JurisCoT-SFT 平衡推理轨迹与答案信号,Stage II 引入 Lifecycle-Aware Backtrackable Policy Optimization 动态管理奖励信号。
AFTER-WM 世界模型通过误差驱动机制,结合快速修正与持久慢速修正,动态调整预训练专家权重,解决了响应、稳定与持久性的权衡难题。该模型在五个模拟机器人数据集和真实无人机数据上表现最优,其多步平均误差比最强对比模型低 16%-34%,且在控制任务中取得最高平均回报。相关代码与数据集将在线发布。
研究者分析了 2019 至 2024 年间 170 个 Stack Exchange 站点共 380 万条回答,发现语言模型高频词组使用率比 2023 年前趋势高出 14%。 预测词汇上升最强的指标是发布后 30 天内被编辑的回答占比:低编辑站点词组上升约 29%,高编辑站点则无明显变化。 该研究发现基于词汇的估算无法区分是用户少用还是编辑行为影响记录,整体估计混合了不同变化幅度的站点。
PreG方法通过生成短前缀并利用内部置信度评分筛选,优化并行测试时扩展(TTS)的计算效率。 该方法在固定算力预算下扩大决策边界余量,基准测试显示其token使用量显著降低,性能优于标准并行TTS。
大语言模型在数学题目和作文反馈生成上显著缺乏多样性,输出同质化程度远高于人类。 直接提示下,模型输出的词汇(Self-BLEU)相似度比人类高 78%,语义相似度高 51%。 尽管多样性提示和后训练能增加表层变化,但未扩展教学形式,加剧了模式崩溃。
基于冻结的多模态 LLM,通过 97M 参数适配层以约 30 GPU 小时训练出全双工词级口语对话系统。 Thinker 保持冻结,Talker 独立读取离散 token;在 Full-Duplex-Bench 和 InteractionBench 中,该系统的口语任务准确率、连贯性优于大规模训练的开源自对系统。
SynthCorp 是一个通过模拟商业事件创建定制化数据资产与基准的平台。 该平台生成包含7个数据资产(最高1K张操作表)和跨5个领域的256个任务的基准测试,并生成经验证的黄金程序。 作者希望社区利用 SynthCorp 生成更具挑战性的数据资产,以促进企业数据智能体的开发。
研究人员提出 MINT 模型,通过嵌入注入技术将支付网络预训练的交易嵌入与 LLM 结合。 该模型在数百万交易问答样本上完成指令微调,评估了零样本泛化与推理效率。 结果显示紧凑嵌入显著提升预测 QA 精度并降低 token 消耗,但序列化历史在抽取式 QA 上更具竞争力。
研究发现,大语言模型回测中传统的污染检查无效,因为模型对截止时间附近的时间敏感,导致近期数据泄露现象与真实能力难以区分,证明了被动回测无法剥离二者。 作者提出利用已知截止时间和匹配的干净对照来定位泄露,并据此计算泄露调整后的分数。 在包含植入泄露的孪生模型测试中,该估计器成功检测并定位了泄露,而在五个前沿模型的实测中,未发现显著泄露。
该研究通过引导 Llama-2-7B-Chat 和 Qwen2.5-7B-Instruct 并仅使用良性数据进行蒸馏,量化了无意识行为迁移比例。在 100 条 JailbreakBench 提示词上由 GPT-4.1 评估,结果显示 Llama-2 存在锐利阈值,而 Qwen2.5 表现为连续且高达 0.61 的迁移水平。 这项研究为理解教师模型向学生模型传递潜在不良行为提供了系统性的量化证据。
提出DP-MacAdam算法,利用均值和方差估计同时实现自适应裁剪与动量更新,在梯度方差估计上实现无偏。 该算法避免了手动调参,与DP-SGD、AdaClip及DP-Adam基线对比显示提升了模型效用。
稳定性边缘(EoS)并非全局优化属性,而是通过重分配学习来选择性塑造数据分布,放大部分群体进步同时抑制其他群体。 研究者通过分支干预证明这一权衡效应,识别出两个必要条件:群体聚合梯度需对齐Hessian最大特征向量,且需维持非消失的梯度幅度。 这表明EoS不仅是稳定性边界,更作为机制管理着学习在数据分布中的分配。
研究揭示动态系统重建中存在动态-概率一致性差距,优化有限时程概率目标可能削弱动力学学习或使预测不确定性与局部切动力学解耦。 提出可微分扩展卡尔曼滤波训练框架 KAFFEE,联合学习动力学与噪声协方差;在随机超混沌Lorenz-96上,KAFFEE改善了不变量重建与预测得分,并在13个混沌系统上提升了预测似然。 该文已被NeurIPS 2026主会接收。
LLM 智能体评测基准 MEME 定义了多实体与演进记忆六项任务,覆盖 Cascade、Absence 等此前未评分的依赖推理场景。 基于 100 个控制回合评估 6 种记忆系统,发现所有系统在默认配置下依赖推理准确率均低于 3%,静态检索性能良好但无法解决此问题。 文件代理结合 Claude Opus 4.7 部分弥合差距,但成本约为基线 70 倍,代码与数据已在项目页公开。
EvoFlows提出了一种变长序列到序列方法,通过编辑流学习进化相关蛋白质间的突变轨迹,同时预测突变的位置和数量。在UniRef和OAS数据集中的实验表明,该方法生成的变体比领先基线探索了更远的空间,且保持与自然家族一致。
论文提出使用神经元胞自动机生成合成非语言数据,用于 LLM 的 pre-pre-training。在 400M-3B 规模模型中,仅使用 164M NCA tokens 即可将下游语言建模性能提升最高 6%,收敛速度加速最高 1.6 倍,甚至优于使用 1.6B tokens 高质量自然语言数据且计算量更多的情况。
RCRL 方法在固定目标下通过扰动标称奖励生成多样化监督,在单任务、多任务及视觉控制基准中提升了任务性能与样本效率。 该方法为离策略算法,利用重放数据重新计算反事实奖励,无需额外环境交互。 学习策略支持零样本行为调整,向相关目标偏移而无需再训练。
ArchSpace 作为公开平台,通过记录实验与推理、社区评审及引用机制,填补了大语言模型架构创新中缺乏成功与失败文档记录的空白。 平台利用缩放定律从小型实验预测大规模模型损失,以替代高成本训练,并提供了 Qwen3.5 和 OLMo3 基线、拟合的缩放定律及可复用训练配方。 验证的想法将成为新基线,旨在拓宽塑造下一代模型的范围。
CADET 生成 10 万块无设计规则违反(DRV)的合成交互板及其演示,结合行为克隆与强化学习训练布线策略,将真实测试板上的完整无违反路由率从 38.0% 提升至 67.2%。 该比率与开源自动布线器 FreeRouting 相当,并优于其他基线,包括 GPT-6 Astra,相关数据与代码已开源。
研究发现,在固定预算下,合成数据在中低预算区间比人类标注数据更具成本效益,$200-$400即可实现高胜率。 人类数据在helpfulness任务上需约大两个数量级的预算才能追平差距,且在summarization任务上始终未追上;部分人类数据来源表现较差,去重也无法弥补差距。