TabAbax:表格基础模型技术报告
TabAbax基于TabICLv2构建,重点优化合成预训练先验与列行编码器,以增强上下文预测能力。 BeyondArena回归基准142数据集Elo达1238;TabArena整体Elo 1676(较TabICLv2提升115),回归基准Elo 2024(提升336),证实先验质量是提升回归性能的关键因素。
TabAbax基于TabICLv2构建,重点优化合成预训练先验与列行编码器,以增强上下文预测能力。 BeyondArena回归基准142数据集Elo达1238;TabArena整体Elo 1676(较TabICLv2提升115),回归基准Elo 2024(提升336),证实先验质量是提升回归性能的关键因素。
SFTProbe 通过直接预测推理数据质量,将 SFT 数据筛选时间从数周缩短至数小时。该方法基于 LoRA 适应,仅需评估 5% 的推理轨迹损失即可估计难度与多样性。在数学推理任务中,5k 生成样本匹敌 OpenThoughts-Math 的 89k 样本,7.5k 样本准确率提升 2.5%。
VoirDire 提出一种面向 LLM 评委面板的干预校准聚合方法,通过控制表面特征变化识别并抑制偏差方向,以增强共识可靠性。 在 12 个数据集上的评估显示,该方法在连续评分任务中最大降低 26.8% 的 MAE,在二分类与偏好任务中准确率最高提升 5.3 个百分点。
研究系统评估了利用组合结构生成监督信号以实现模型自我提升的有效性,并在编码和推理任务中验证了该方法。实验识别出三个主要失败模式:子问题预测不可靠、组合引入误差以及监督覆盖范围有限。 尽管存在局限,短程监督微调(SFT)预热结合组合式自我提升能够引导强化学习,特别是在模型已具备相关技能且直接探索成功率低的任务上。
研究团队提出针对执行性(Performativity)的端到端统计推断框架,证明忽略不确定性传播会导致重复重训练后置信区间覆盖率严重不足。 该框架为重复风险最小化建立了中心极限定理,推导了捕捉当前采样变异与历史部署继承不确定性的协方差递归,并开发了基于策略扰动的一致协方差估计器。 此工作为自决定数据分布的学习系统提供了统计工具,扩展了预测驱动推断至动态设置,提升统计效率。
RankLane 通过按当前负载对专家排序并分配至固定容量通道,解决了静态执行计划中专家容量浪费或溢出的问题。 该方法在 Qwen3-30B-A3B 和 Gemma 4 26B-A4B 上实现 1.27-4.18x 和 1.93-3.46x 的预填充加速,支持溢出检测与自动恢复。
MXCode 提出三种策略,将向量量化压缩与 MicroXcaling FP4 计算结合,实现约 2 bits/weight 权重存储且无需生成高精度中间权重。 在 Qwen3 (235B)、DeepSeek-R1 (671B) 和 GLM-5.2 (753B) 上评估,Qwen3 (235B) 在 GB300 上模型加载内存比原生 FP4 低约 50%,P90 TTFT 最高提升 94.5%。
该论文提出一种结合量化、低秩与稀疏分解的PTQ方法,利用模拟退火优化以补偿量化误差,显著降低大模型部署的内存负担。 实验在Llama 3.2 1B/3B、Llama 3.1 8B及Qwen2.5 7B上验证,使用4-bit NF4和FP4量化器,结果显示该方法在自然语言生成基准上明显优于直接量化,且内存开销极小。
在 Qwen3-VL-8B 等 4 款模型中,研究者发现因果上必需用于 OCR 的注意力头部是通用语义功能模块,可在全图像 token 上输出可解释特征,甚至将“bike”提示词映射到鸟翼输出 “feathers”。
Reasoning Consensus 将 LLM 链式推理提取为类型化图,合并跨模型等价步骤并按支持数加权。在覆盖法律、科学等 7 个基准测试中,其准确率 69.4%,与多数投票和辩论持平。用户研究显示参与者阅读其图表更快,18 人中有 14 人偏好在未来使用该方法。
论文提出MOPDA,这是首个将在线自蒸馏引入基于LVLM的工业异常检测(IAD)的框架。 该框架包含“混合轨迹监督”和“语言引导视觉锚定”两个核心模块,分别用于判断学习和密集定位。 在五个IAD基准测试的跨数据集零样本评估中,MOPDA在多数检测、定位和判断指标上优于现有基于LVLM的基线模型。
SemFlowRAG 提出了一种将平坦检索空间重构为语料自适应语义梯度图的框架。 通过量化语义抽象性并设计抽象度引导的有向 PageRank 算法,强制检索轨迹沿“高到低语义抽象度”梯度行进。 实验证明该框架有效缓解了高抽象概念节点导致的“概率黑洞”问题,在检索及下游推理性能上优于现有基线模型。
该研究对 LLM 激活转向在对抗文本扰动下的鲁棒性进行了首次系统评估。 实验覆盖 1.5B 至 30B 模型,显示方向鲁棒性下降最多达 64%,攻击后置信度普遍低于 0.25。 层选择策略同样脆弱,最优层位置偏移最多达 17 个位置。
TRACER 是一种基于 Token 重分配的端到端概念遗忘框架,专用于生成式推荐系统。 它通过将概念相关项目重新分配到替代 Token,在有效移除目标概念的同时,利用一致性正则化器保留语义一致性,比现有基线更好保持推荐效用。 该框架解决了语义 ID 共享导致概念移除与推荐效用保留之间冲突的问题。
研究在 30 个大语言模型和 10 个文本领域中评估了 284 个可解释语言特征,证明基于语言特征的分类器能可靠区分 AI 生成与人类撰写的文本。 多数先前提出的指标表现出强烈的语境依赖性,唯有词汇丰富度指标在模型族和文本领域中保持稳健的信号特征。
LEAD 方法通过在线自适应机制替代静态启发式,在五个数学推理基准测试中取得了 RL 训练的高效推理方法中最高的准确度和准确度效率分数,同时生成的输出长度显著短于基础模型。 该方法利用“势标度的不稳定性”在训练步骤中动态校准正确率与效率的权衡,并基于模型自身正确推理在线估算每个问题的目标长度。 LEAD 对称效率奖励同时惩罚过度思考与过度压缩,解决了传统方法中正确率退化与压缩不足并存的难题。
研究者提出表征有效理论(RET),从大语言模型隐状态轨迹中学习低维宏观状态及其动力学。 这些宏观状态展现近似闭合动力学,能追踪推理轨迹,并在生成早期预测谄媚和对齐伪装。 该框架支持对模型推理进行解释、预测和控制。
该机制基于共享 KV cache 解耦计算与内存,在五个模型(最大 671B 参数)上实现 1.72–2.15 倍增益,保持 99% SLO。
研究提出“特征学习方程”,指出权重 Gram 矩阵是捕捉特征动态的关键对象。 通过定义“虚拟协方差”和“目标线性度”,揭示了深层网络在训练中对表示进行序贯线性化的机制。 该视角统一解释了 Neural Collapse 及生成模型中的线性插值现象,论文已被 NeurIPS 2026 收录。
研究通过线性投影实现20组异构语言模型间的隐空间对齐,在TruthfulQA上行为修正率达25.2%,R²=0.50。 发现几何对齐质量与行为修正率近乎零相关(r=-0.07),且投影矩阵跨推理域传输时R²降至-3.83,证实领域特异性子空间几何是语言模型普遍属性。
该研究揭示 Rectified Flow (RF) 采样器在采用端点自适应时间离散化方案时,其迭代复杂度为 O(k/ε)。 文章将去噪扩散概率模型(DDPM)与 RF 建立随机局部化联系,并设计了适应低维目标的随机 RF 采样器。
ECR 通过冻结嵌入模型生成短离散前缀,实现 99.93% ± 0.12% 语言路由准确率,显著优于 34-36% 的随机控制基线。 该指标无法被似然(NLL)可靠捕获,且路由可恢复性在多语言、无监督分区及低精度场景中依然保持。 研究确立了路由持续性作为独立于任务性能和似然的显著且可测量属性。
PrismServe 结合请求级协作与量化专家混合,在 48 个三厂商加速器上服务 Qwen3-14B 时,吞吐量达跨节点部署的 2.0-2.6 倍,P99 每 token 时间减少 55-65%。 该系统基于未修改的 vLLM 实现,两级路由器依据预测响应质量选择专家,并按负载和前缀缓存局部性选择副本,在 Qwen3-8B/14B/32B 的 5 个下游任务中精度接近全精度。
Generative Logic (GL) 是一种确定性计算机架构,旨在自动化数学推理,通过编译公理定义并在演绎邻域中探索生成猜想。 GL 能够推导 Peano 算术基本定律和高斯求和公式,并基于给定猜想构建算术基本定理(FTA)的证明。 这些证明被导出至 Lean 4 并经过内核检查,验证了该架构在形式化验证中的有效性。
论文提出图谱修复形式化诊断框架,通过抽象重写系统从合规图谱引入违规,确保约束可证覆盖。 方法应用于基于大语言模型的修复手段,多指标评估显示其有效区分不同算法在各类约束下的性能。 结果突显细粒度系统化工具在图谱修复领域的重要性。
本文首次严格分析多神经元凸松弛的表达力,证明即使针对有限神经元和层最优分配资源,其本质仍不完备,将单神经元凸屏障扩展为通用凸屏障。 作者指出可通过增加多项式数量的 ReLU 神经元或将输入域划分为凸子多面体实现完备性,从而区分多神经元与单神经元方法。该研究为多神经元松弛方法奠定基础,指引了面向认证鲁棒性的新训练与验证方向。
论文提出包含五类能力的归因框架,用于界定获取表征后的认知扩展边界。 框架区分有效追踪、应用获取结构及获取新能力等五个维度。 该框架应用于Othello-GPT世界模型解释,明确了标准发现与积累的认知归属。
论文提出无训练预测器 Forget-Retain Alignment Gap (FRAG),通过评估更新中遗忘关键权重与保留关键权重的对齐程度,比全局权重位移更可靠地预测 LLM 机器遗忘的鲁棒性。 研究基于遗忘关键、保留友好的原则,提出 Forget-Retain Pruning (FRP) 技术以增强模型抗重学习能力,结果表明权重选择性比单纯距离更能解释鲁棒性。
研究者提出自监督测试时训练方法 ReLAT,利用查询本身作为参考,通过可微的重建循环闭合潜层推理回路。 该方法在 Qwen 系列模型的数学推理、知识问答和代码生成基准测试中表现优于多种基线。在 Qwen3-8B 上,ReLAT 将 AIME 2024 准确率从 56.7% 提升至 73.3%。
提出RoRo框架,利用基于评分标准的奖励优化大型推理模型(LRM)的步骤级模型路由,解决仅使用结果奖励无法评估中间路由决策的问题。 框架通过交替优化生成查询特定的评估标准并打分,结合结果奖励使用GRPO优化路由策略。 实验显示,RoRo在五项推理基准测试中优于强基线,实现了更优的准确性与成本平衡。
研究在 Qwen3 上训练三种 LLM 工作流,发现多智能体 RL 并非总优于单智能体 RL。 具体而言,仅在 Eval-Opt 工作流中,隔离策略(IP)的训练效果超过了单智能体 RL。 共享策略(SP)存在隐式超参数,调整其权重可匹配隔离策略的速度和峰值。
AutoREM 框架通过无调优的增强记忆机制,利用历史失败轨迹构建结构化文本经验记忆,实现了鲁棒优化模型的自动重构。 该框架无需领域专业知识或参数更新,经验记忆可迁移至不同基础 LLM,并在分布内、分布外数据集及多样化 LLM 上提升了重构的准确率与效率。
Switchcraft 是首个针对 Agentic 工作负载中工具调用正确性优化的模型路由器。该方案使用微调的 DistilBERT 分类器,在延迟预算内选择成本最低的模型,78.3% 的答案准确率比最佳单体模型成本低 59%。 研究发现大模型在工具使用任务上并不总是优于小模型,且名义上更便宜的模型可能因 token 密集输出导致总成本更高。
研究揭示语言模型在知识冲突和缺失知识下产生错误的高置信度输出,源于 MLP、QK 和 VO 组件的不同电路角色。 MLP 主要存储事实,QK 引导生成方向,VO 将内容写入残差流;单短语学习的事实易受上下文干扰,多短语学习则覆盖上下文。 在 12 个预训练模型中,幻觉率随规模下降,但剩余幻觉的高置信度比例上升,置信度与正确性之间的差距未因规模缩小。
summary_zh: 研究人员提出受工作记忆启发的 WMIP 探针,评估 18 个大语言模型在 3 至 100 次更新下的累积状态追踪能力。 模型在单步算术准确率 84.9%,但核心任务(3-7 次更新)仅 31.7%;50 次更新后准确率低于 10%,显示单步能力不保证累积追踪可靠性。
研究提出 DGM-Hyperagents(DGM-H)框架,通过集成任务智能体与可编辑的元智能体,实现元认知层面的自修改。该框架消除了对特定领域任务与自修改能力对齐的假设,支持在任意可计算任务上实现自我加速进步。
summary_zh: 提出动态混合精度路由框架(DMR),在三个长程智能体基准测试中实现 2.44x 解码加速,任务成功率与 FP16 相当。 DMR 通过轻量路由器识别关键步骤,结合嵌套量化使平均内存占用比 FP16 降低 39%,每步路由延迟增加不超过 0.11%,单步开销低于 1 ms。
该研究提出Mixture-of-Models架构,通过分布式推理组合独立训练的异构LLM,将Switch Transformer扩展至语义层。 系统使用N-Way Self-Evaluating Deliberation协议达成联合共识,结合Delphi方法、二次投票及推理时扩展范式。
研究发现,基于模型强化学习智能体在执行量子信息任务时,其内部规划器自发发展出时空特征零结构,能高保真重构闵可夫斯基度规的因果结构。智能体无需直接获取时空度规信息,仅通过最大化局部量子探针与量子场间的量子互信息来学习,其预测与行动揭示了时空几何源自操作性量子经验。
summary_zh: Sonar-MoE 在反向传播中即时更新专家张量,消除专家梯度驻留,显著降低显存占用。 微调 OLMoE-1B-7B 和 Granite-3.1-3B-A800M 时,峰值内存降低 19%-22%,单步耗时减少 17%-23%。