Qwen3 量化副本间分歧能否作为小模型错误判据?
研究验证使用 Qwen3-0.6B 和 Qwen3-1.7B 的 8-bit 与低精度副本分歧进行错误检测。在 8,398 道选择题中,0.6B 模型 AUROC 达 0.684,但 1.7B 模型增益不显著。 发现该信号并非量化特有,重排序额外推理路径比单纯增加 8-bit 推理更优,且无法有效替代路由至更大模型。
研究验证使用 Qwen3-0.6B 和 Qwen3-1.7B 的 8-bit 与低精度副本分歧进行错误检测。在 8,398 道选择题中,0.6B 模型 AUROC 达 0.684,但 1.7B 模型增益不显著。 发现该信号并非量化特有,重排序额外推理路径比单纯增加 8-bit 推理更优,且无法有效替代路由至更大模型。
该研究测试了 28 个开源多语言模型在 Low-Language-TTS 数据集上的表现,并在 50 种低资源语言上进行了微调。 微调使 24 个模型的宏字符错误率(CER)降低 16.6 至 53.1 点,最低降至 9.5;使用低秩适配器(LoRA)仅微调 4% 的权重即可接近全参数微调效果。
VWEN 是基于 Qwen3.5-0.8B 微调的 0.8B 参数模型,支持越南语释义及简化等 5 项任务。 使用约 7k 样本经四阶段管道训练,在高发散释义任务中成功率达 0.61,优于 ViSP 模型的 0.46。 多任务训练保留了基础模型能力,而仅用释义数据训练会致能力丧失,且蕴含过滤阶段效果最佳。
针对法律领域 LLM 训练痛点,提出两阶段框架:Stage I 采用 JurisCoT-SFT 平衡推理轨迹与答案信号,Stage II 引入 Lifecycle-Aware Backtrackable Policy Optimization 动态管理奖励信号。
AFTER-WM 世界模型通过误差驱动机制,结合快速修正与持久慢速修正,动态调整预训练专家权重,解决了响应、稳定与持久性的权衡难题。该模型在五个模拟机器人数据集和真实无人机数据上表现最优,其多步平均误差比最强对比模型低 16%-34%,且在控制任务中取得最高平均回报。相关代码与数据集将在线发布。
研究者分析了 2019 至 2024 年间 170 个 Stack Exchange 站点共 380 万条回答,发现语言模型高频词组使用率比 2023 年前趋势高出 14%。 预测词汇上升最强的指标是发布后 30 天内被编辑的回答占比:低编辑站点词组上升约 29%,高编辑站点则无明显变化。 该研究发现基于词汇的估算无法区分是用户少用还是编辑行为影响记录,整体估计混合了不同变化幅度的站点。
PreG方法通过生成短前缀并利用内部置信度评分筛选,优化并行测试时扩展(TTS)的计算效率。 该方法在固定算力预算下扩大决策边界余量,基准测试显示其token使用量显著降低,性能优于标准并行TTS。
大语言模型在数学题目和作文反馈生成上显著缺乏多样性,输出同质化程度远高于人类。 直接提示下,模型输出的词汇(Self-BLEU)相似度比人类高 78%,语义相似度高 51%。 尽管多样性提示和后训练能增加表层变化,但未扩展教学形式,加剧了模式崩溃。
基于冻结的多模态 LLM,通过 97M 参数适配层以约 30 GPU 小时训练出全双工词级口语对话系统。 Thinker 保持冻结,Talker 独立读取离散 token;在 Full-Duplex-Bench 和 InteractionBench 中,该系统的口语任务准确率、连贯性优于大规模训练的开源自对系统。
SynthCorp 是一个通过模拟商业事件创建定制化数据资产与基准的平台。 该平台生成包含7个数据资产(最高1K张操作表)和跨5个领域的256个任务的基准测试,并生成经验证的黄金程序。 作者希望社区利用 SynthCorp 生成更具挑战性的数据资产,以促进企业数据智能体的开发。
研究人员提出 MINT 模型,通过嵌入注入技术将支付网络预训练的交易嵌入与 LLM 结合。 该模型在数百万交易问答样本上完成指令微调,评估了零样本泛化与推理效率。 结果显示紧凑嵌入显著提升预测 QA 精度并降低 token 消耗,但序列化历史在抽取式 QA 上更具竞争力。
研究发现,大语言模型回测中传统的污染检查无效,因为模型对截止时间附近的时间敏感,导致近期数据泄露现象与真实能力难以区分,证明了被动回测无法剥离二者。 作者提出利用已知截止时间和匹配的干净对照来定位泄露,并据此计算泄露调整后的分数。 在包含植入泄露的孪生模型测试中,该估计器成功检测并定位了泄露,而在五个前沿模型的实测中,未发现显著泄露。
该研究通过引导 Llama-2-7B-Chat 和 Qwen2.5-7B-Instruct 并仅使用良性数据进行蒸馏,量化了无意识行为迁移比例。在 100 条 JailbreakBench 提示词上由 GPT-4.1 评估,结果显示 Llama-2 存在锐利阈值,而 Qwen2.5 表现为连续且高达 0.61 的迁移水平。 这项研究为理解教师模型向学生模型传递潜在不良行为提供了系统性的量化证据。
提出DP-MacAdam算法,利用均值和方差估计同时实现自适应裁剪与动量更新,在梯度方差估计上实现无偏。 该算法避免了手动调参,与DP-SGD、AdaClip及DP-Adam基线对比显示提升了模型效用。
稳定性边缘(EoS)并非全局优化属性,而是通过重分配学习来选择性塑造数据分布,放大部分群体进步同时抑制其他群体。 研究者通过分支干预证明这一权衡效应,识别出两个必要条件:群体聚合梯度需对齐Hessian最大特征向量,且需维持非消失的梯度幅度。 这表明EoS不仅是稳定性边界,更作为机制管理着学习在数据分布中的分配。
研究揭示动态系统重建中存在动态-概率一致性差距,优化有限时程概率目标可能削弱动力学学习或使预测不确定性与局部切动力学解耦。 提出可微分扩展卡尔曼滤波训练框架 KAFFEE,联合学习动力学与噪声协方差;在随机超混沌Lorenz-96上,KAFFEE改善了不变量重建与预测得分,并在13个混沌系统上提升了预测似然。 该文已被NeurIPS 2026主会接收。
LLM 智能体评测基准 MEME 定义了多实体与演进记忆六项任务,覆盖 Cascade、Absence 等此前未评分的依赖推理场景。 基于 100 个控制回合评估 6 种记忆系统,发现所有系统在默认配置下依赖推理准确率均低于 3%,静态检索性能良好但无法解决此问题。 文件代理结合 Claude Opus 4.7 部分弥合差距,但成本约为基线 70 倍,代码与数据已在项目页公开。
EvoFlows提出了一种变长序列到序列方法,通过编辑流学习进化相关蛋白质间的突变轨迹,同时预测突变的位置和数量。在UniRef和OAS数据集中的实验表明,该方法生成的变体比领先基线探索了更远的空间,且保持与自然家族一致。
论文提出使用神经元胞自动机生成合成非语言数据,用于 LLM 的 pre-pre-training。在 400M-3B 规模模型中,仅使用 164M NCA tokens 即可将下游语言建模性能提升最高 6%,收敛速度加速最高 1.6 倍,甚至优于使用 1.6B tokens 高质量自然语言数据且计算量更多的情况。
RCRL 方法在固定目标下通过扰动标称奖励生成多样化监督,在单任务、多任务及视觉控制基准中提升了任务性能与样本效率。 该方法为离策略算法,利用重放数据重新计算反事实奖励,无需额外环境交互。 学习策略支持零样本行为调整,向相关目标偏移而无需再训练。
ArchSpace 作为公开平台,通过记录实验与推理、社区评审及引用机制,填补了大语言模型架构创新中缺乏成功与失败文档记录的空白。 平台利用缩放定律从小型实验预测大规模模型损失,以替代高成本训练,并提供了 Qwen3.5 和 OLMo3 基线、拟合的缩放定律及可复用训练配方。 验证的想法将成为新基线,旨在拓宽塑造下一代模型的范围。
CADET 生成 10 万块无设计规则违反(DRV)的合成交互板及其演示,结合行为克隆与强化学习训练布线策略,将真实测试板上的完整无违反路由率从 38.0% 提升至 67.2%。 该比率与开源自动布线器 FreeRouting 相当,并优于其他基线,包括 GPT-6 Astra,相关数据与代码已开源。
研究发现,在固定预算下,合成数据在中低预算区间比人类标注数据更具成本效益,$200-$400即可实现高胜率。 人类数据在helpfulness任务上需约大两个数量级的预算才能追平差距,且在summarization任务上始终未追上;部分人类数据来源表现较差,去重也无法弥补差距。
论文将合成数据分为转换、增强和模拟三类,强调其生成所依赖的“真值假设”比数据来源本身更具法律与政策意义。 该分类揭示了不同类别合成数据的风险差异:任何类别都无法避免基于群体的隐私侵害,增强和模拟数据可能放大偏见,且合成数据通常难以帮助小竞争对手抵消市场头部玩家的数据优势。 研究呼吁政策制定者在评估是否激励或强制使用合成数据时,应重点审视其生成过程中所使用的真值假设的有效性。
基于 Gemma 4 12B 的 Agent 通过无教师自进化策略,在 τ²-bench 零售和航空域分别提升 12.5 和 19.5 个 pass¹ 点。 该模型结合技能规则诊断与 GRPO 训练的 LoRA 适配器,历经代码检查及验证门控筛选。 结果超越基准参考 Agent,显著缩小了与前沿模型的差距。
该研究提出ACASA方法,通过最小化估计的公平性差距并受预测准确率约束,学习合成数据增强的位置与数量。 理论分析表明全平衡增强严格改善Equal Opportunity,且有限样本收敛率与信息论下界一致;仿真与真实数据应用证实该方法能显著降低公平性差距并实现有利的公平-准确率权衡。
研究发现元学习神经网络的参数向量支持加性类比操作。将不同函数的参数拼接为向量,通过符号关系加减生成的新向量,能直接实现对应功能而无需直接训练。
FedBrew 是一个旨在实现可控、可复现联邦学习实验的研究代码库。 它通过配置检查、可识别客户端数据分区、检查点恢复检查及自描述运行记录,验证实验实现是否符合预定协议。该结构为研究人员或 AI 编码智能体提供新算法和数据集的扩展点与自动化检查。
研究者提出轻量级 SOAP 变体 FOAM,通过输入侧预条件和行列统计因子化二阶矩估算器,在 124M 至 760M 参数 LLM 预训练中匹配 SOAP 和 Muon 基线的验证损失。 FOAM 使用 SOAP 一半的优化器状态内存,运行时间达到 Muon 级别,且在 3 倍学习率范围内保持鲁棒性,代码已开源。
自回归语言模型序列级监督学习存在根本性缺陷,两种自然尝试导致损失函数无下界。 通过自回归 Gumbel 技巧,基于采样的损失是 Gumbel 扰动下贪婪损失的期望。尽管停止梯度推导的矩匹配方向是有效下降方向,但其高方差使得教师强制可能仍是最佳选择。
提出ACERL方法,在固定Agentic Context Engineering框架内通过强化学习共优化工具生成、反思与剧本策划行为,利用环境信息交接经验。 ACERL评估交接产物的下游影响,在智能体基准测试中取得优于基线方法的保留集表现。 结果表明智能体训练应优化未来推理所继承的模型生成经验。
针对零阶优化中随机扰动效率低的问题,提出 WIS-MeZO 方法。该方法利用 Wanda 权重-激活显著性构建任务条件稀疏扰动掩码,保持预训练模型稠密状态。在 16 个基准上,LLaMA 和 Qwen 模型(3B-32B 参数)的聚合分数优于 MeZO,且以更少步骤达到可比的验证损失。
针对 TPU 上小模型强化学习协同开销高的问题,本文提出本地协同 JAX (LoCoJAX)。 在 Qwen3-0.6B 上,LoCoJAX 的共置模式比 Pathways 基线快 1.3-3.6 倍,8 芯片速度超越 64 芯片基线。 非共置模式仅在 rollout 占主导且获得多数主机时,才通过并行计算抵消分片开销。
JudgeMix 提出裁判引导的数据合成框架,解决 LLM 智能体训练中的分布不匹配问题,在 AppWorld 和 AutomationBench 基准上提升最高 10 个 pass@1 点。 该框架根据逐步语义评估动态穿插目标模型与专家混合轨迹,仅在目标模型困难时调用专家指导,并利用裁判评估重新加权专家监督信号。
研究利用通用表格基础模型 TabPFN 基于稀疏 CPT 数据重构二维地下剖面,无需地质微调。在荷兰两个野外站点测试中,TabPFN 的平均误差低于 SchemaGAN 和参考插值方法。研究表明通用表格基础模型为更新稀疏数据下的地下预测提供了可行路径。
新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。
Large Payments Model (LPM) 是一个专为支付预测任务设计的领域基础模型,旨在通过共享学习表示来统一欺诈检测、授权预测等应用。 LPM 基于大规模结构化交易数据从头训练,预训练语料规模达 400 billion tokens,支持独立和序列两种互补架构。 该模型在商户和资金管理领域的多项预测任务中优于任务特定基线,并已通过生产部署验证了其作为可复用支付智能层的有效性。
在 Cloudflare 的 Clef-flash 和 Clef 模型上,非量化因素(如引擎、重启、批次)导致的决策变化在 0 到 0.92% 之间。 同引擎内的量化影响显著,Clef 模型在 Q4_K_M 格式下决策变化达 5.79%。 作者开源了代码与预注册数据,用于复现 31,275 题的量化精度对比。
针对 RLVR 中“盲目”熵指标无法区分有效推理与幻觉的问题,研究者提出有效性感知熵概念,并实现 VEPO(Validity-aware Entropy Policy Optimization)方法,将有效熵直接融入训练以过滤噪声。
预训练阶段的主动抑制(DETER)比过滤或事后遗忘更有效地阻止模型通过微调获取危险知识。 在 1B 参数模型上,该方法使对抗性微调重新获得医疗知识的成本增加 20 倍以上,代码已公开。 研究证实预训练是阻止不必要能力被后续微调获取的有效阶段。