小语言模型中虚构与拒绝行为的几何结构分析
针对小语言模型面对不可回答问题的行为,研究引入 784 项基准 ConfabQA 以解耦知识截止混淆。 实验基于 Qwen3-1.7B、Gemma 2 2B 及 Llama 3.2 3B,使用线性探针和 SAE 映射隐藏状态几何。
针对小语言模型面对不可回答问题的行为,研究引入 784 项基准 ConfabQA 以解耦知识截止混淆。 实验基于 Qwen3-1.7B、Gemma 2 2B 及 Llama 3.2 3B,使用线性探针和 SAE 映射隐藏状态几何。
变分贝叶斯信息搜索可被蒸馏至 8B 语言模型,通过结构化的信念状态 scratchpad 提升交互任务表现。 在 Multi-Turn Puzzles 测试中,学生模型将 Circuit Decoding 成功率从 0.00 提升至 0.93,并将词语猜测尝试次数从 32 次降至 3.4 次,性能超越最强已报告的语言模型。
针对多轮对话中嵌入相似度预测复用风险不准的问题,提出 CUCB-SC-MT 和 CLCB-LS-MT 算法。 利用裁判反馈学习复用风险,在 1,000 个缓存条目下避免 35--41% 生成成本,降低 19--35% 延迟。 优于 ContextCache 等基线,适用于数学辅导和电影购票等多轮场景。
Jet-QSparse 提出一种免训练方法,结合 NVFP4 缓存存储与 Blackwell 张量核心的原生 FP4 计算以加速 Agentic LLM 推理。
研究基于单层单头线性注意力模型,精确求解了参数动力学,阐明记忆与泛化如何从学习中涌现。 该工作将动力学与训练及泛化误差关联,并计算数据依赖的自由能量以预测长时极限下的误差。 此成果为从学习动力学视角理解上下文学习机制提供了新见解。
研究提出嵌套分支维度,证明语言类可私有统一生成当且仅当闭包维度与该维度均有限。 这一发现揭示了隐私约束带来的额外组合阻碍,区别于以往仅依赖闭包维度的非私有生成特征。
研究利用层级生成参考数据评估概率预测模型在粗粒度观测下的表现。 发现标准扩散模型和随机插值器存在显著分布误差,级联短程预测在湍流和波浪中能大幅降低误差。 提出了可解析的解析模型,表明最优级联深度取决于未分辨尺度与观测尺度间的耦合强度及预测依赖性。
研究建立奇异学习理论与机制可解释性的数学对应,证明两者均为参数-预测映射的函数,并在 Pythia-1B 模型上验证。 在 Dyck 括号匹配任务中测试 154 个训练检查点,发现 Fisher 信息量随因果效应变化,中位数偏秩相关系数达 0.51。 该工作首次在大模型尺度统一了基于局部几何理论与干预电路分析,为理解模型内部机制提供量化基础。
研究提出基于期望接受长度的损失族TVP,通过调节权力参数平衡覆盖与接受目标。 TVP在三种drafter架构和三个目标模型上实现最高或并列最高接受长度。微调时TVP比交叉熵损失提升接受长度9.8%,比公开DFlash2训练方案提升6.2至12.9%。
L2RR通过优化双层目标显式纳入目标侧性能反馈,改进GRPO在源提示上的离散采样分布。 实验在六个数学推理基准和三种模型规模上验证,L2RR提升了目标域性能并提高了rollout效率。 该方法解决了法律或隐私限制下无法共享目标提示的问题,对RLVR训练具有实用价值。
TabAbax基于TabICLv2构建,重点优化合成预训练先验与列行编码器,以增强上下文预测能力。 BeyondArena回归基准142数据集Elo达1238;TabArena整体Elo 1676(较TabICLv2提升115),回归基准Elo 2024(提升336),证实先验质量是提升回归性能的关键因素。
SFTProbe 通过直接预测推理数据质量,将 SFT 数据筛选时间从数周缩短至数小时。该方法基于 LoRA 适应,仅需评估 5% 的推理轨迹损失即可估计难度与多样性。在数学推理任务中,5k 生成样本匹敌 OpenThoughts-Math 的 89k 样本,7.5k 样本准确率提升 2.5%。
VoirDire 提出一种面向 LLM 评委面板的干预校准聚合方法,通过控制表面特征变化识别并抑制偏差方向,以增强共识可靠性。 在 12 个数据集上的评估显示,该方法在连续评分任务中最大降低 26.8% 的 MAE,在二分类与偏好任务中准确率最高提升 5.3 个百分点。
研究系统评估了利用组合结构生成监督信号以实现模型自我提升的有效性,并在编码和推理任务中验证了该方法。实验识别出三个主要失败模式:子问题预测不可靠、组合引入误差以及监督覆盖范围有限。 尽管存在局限,短程监督微调(SFT)预热结合组合式自我提升能够引导强化学习,特别是在模型已具备相关技能且直接探索成功率低的任务上。
研究团队提出针对执行性(Performativity)的端到端统计推断框架,证明忽略不确定性传播会导致重复重训练后置信区间覆盖率严重不足。 该框架为重复风险最小化建立了中心极限定理,推导了捕捉当前采样变异与历史部署继承不确定性的协方差递归,并开发了基于策略扰动的一致协方差估计器。 此工作为自决定数据分布的学习系统提供了统计工具,扩展了预测驱动推断至动态设置,提升统计效率。
RankLane 通过按当前负载对专家排序并分配至固定容量通道,解决了静态执行计划中专家容量浪费或溢出的问题。 该方法在 Qwen3-30B-A3B 和 Gemma 4 26B-A4B 上实现 1.27-4.18x 和 1.93-3.46x 的预填充加速,支持溢出检测与自动恢复。
MXCode 提出三种策略,将向量量化压缩与 MicroXcaling FP4 计算结合,实现约 2 bits/weight 权重存储且无需生成高精度中间权重。 在 Qwen3 (235B)、DeepSeek-R1 (671B) 和 GLM-5.2 (753B) 上评估,Qwen3 (235B) 在 GB300 上模型加载内存比原生 FP4 低约 50%,P90 TTFT 最高提升 94.5%。
该论文提出一种结合量化、低秩与稀疏分解的PTQ方法,利用模拟退火优化以补偿量化误差,显著降低大模型部署的内存负担。 实验在Llama 3.2 1B/3B、Llama 3.1 8B及Qwen2.5 7B上验证,使用4-bit NF4和FP4量化器,结果显示该方法在自然语言生成基准上明显优于直接量化,且内存开销极小。
在 Qwen3-VL-8B 等 4 款模型中,研究者发现因果上必需用于 OCR 的注意力头部是通用语义功能模块,可在全图像 token 上输出可解释特征,甚至将“bike”提示词映射到鸟翼输出 “feathers”。
Reasoning Consensus 将 LLM 链式推理提取为类型化图,合并跨模型等价步骤并按支持数加权。在覆盖法律、科学等 7 个基准测试中,其准确率 69.4%,与多数投票和辩论持平。用户研究显示参与者阅读其图表更快,18 人中有 14 人偏好在未来使用该方法。
论文提出MOPDA,这是首个将在线自蒸馏引入基于LVLM的工业异常检测(IAD)的框架。 该框架包含“混合轨迹监督”和“语言引导视觉锚定”两个核心模块,分别用于判断学习和密集定位。 在五个IAD基准测试的跨数据集零样本评估中,MOPDA在多数检测、定位和判断指标上优于现有基于LVLM的基线模型。
SemFlowRAG 提出了一种将平坦检索空间重构为语料自适应语义梯度图的框架。 通过量化语义抽象性并设计抽象度引导的有向 PageRank 算法,强制检索轨迹沿“高到低语义抽象度”梯度行进。 实验证明该框架有效缓解了高抽象概念节点导致的“概率黑洞”问题,在检索及下游推理性能上优于现有基线模型。
该研究对 LLM 激活转向在对抗文本扰动下的鲁棒性进行了首次系统评估。 实验覆盖 1.5B 至 30B 模型,显示方向鲁棒性下降最多达 64%,攻击后置信度普遍低于 0.25。 层选择策略同样脆弱,最优层位置偏移最多达 17 个位置。
TRACER 是一种基于 Token 重分配的端到端概念遗忘框架,专用于生成式推荐系统。 它通过将概念相关项目重新分配到替代 Token,在有效移除目标概念的同时,利用一致性正则化器保留语义一致性,比现有基线更好保持推荐效用。 该框架解决了语义 ID 共享导致概念移除与推荐效用保留之间冲突的问题。
研究在 30 个大语言模型和 10 个文本领域中评估了 284 个可解释语言特征,证明基于语言特征的分类器能可靠区分 AI 生成与人类撰写的文本。 多数先前提出的指标表现出强烈的语境依赖性,唯有词汇丰富度指标在模型族和文本领域中保持稳健的信号特征。
LEAD 方法通过在线自适应机制替代静态启发式,在五个数学推理基准测试中取得了 RL 训练的高效推理方法中最高的准确度和准确度效率分数,同时生成的输出长度显著短于基础模型。 该方法利用“势标度的不稳定性”在训练步骤中动态校准正确率与效率的权衡,并基于模型自身正确推理在线估算每个问题的目标长度。 LEAD 对称效率奖励同时惩罚过度思考与过度压缩,解决了传统方法中正确率退化与压缩不足并存的难题。
研究者提出表征有效理论(RET),从大语言模型隐状态轨迹中学习低维宏观状态及其动力学。 这些宏观状态展现近似闭合动力学,能追踪推理轨迹,并在生成早期预测谄媚和对齐伪装。 该框架支持对模型推理进行解释、预测和控制。
该机制基于共享 KV cache 解耦计算与内存,在五个模型(最大 671B 参数)上实现 1.72–2.15 倍增益,保持 99% SLO。
研究提出“特征学习方程”,指出权重 Gram 矩阵是捕捉特征动态的关键对象。 通过定义“虚拟协方差”和“目标线性度”,揭示了深层网络在训练中对表示进行序贯线性化的机制。 该视角统一解释了 Neural Collapse 及生成模型中的线性插值现象,论文已被 NeurIPS 2026 收录。
研究通过线性投影实现20组异构语言模型间的隐空间对齐,在TruthfulQA上行为修正率达25.2%,R²=0.50。 发现几何对齐质量与行为修正率近乎零相关(r=-0.07),且投影矩阵跨推理域传输时R²降至-3.83,证实领域特异性子空间几何是语言模型普遍属性。
该研究揭示 Rectified Flow (RF) 采样器在采用端点自适应时间离散化方案时,其迭代复杂度为 O(k/ε)。 文章将去噪扩散概率模型(DDPM)与 RF 建立随机局部化联系,并设计了适应低维目标的随机 RF 采样器。
ECR 通过冻结嵌入模型生成短离散前缀,实现 99.93% ± 0.12% 语言路由准确率,显著优于 34-36% 的随机控制基线。 该指标无法被似然(NLL)可靠捕获,且路由可恢复性在多语言、无监督分区及低精度场景中依然保持。 研究确立了路由持续性作为独立于任务性能和似然的显著且可测量属性。
PrismServe 结合请求级协作与量化专家混合,在 48 个三厂商加速器上服务 Qwen3-14B 时,吞吐量达跨节点部署的 2.0-2.6 倍,P99 每 token 时间减少 55-65%。 该系统基于未修改的 vLLM 实现,两级路由器依据预测响应质量选择专家,并按负载和前缀缓存局部性选择副本,在 Qwen3-8B/14B/32B 的 5 个下游任务中精度接近全精度。
Generative Logic (GL) 是一种确定性计算机架构,旨在自动化数学推理,通过编译公理定义并在演绎邻域中探索生成猜想。 GL 能够推导 Peano 算术基本定律和高斯求和公式,并基于给定猜想构建算术基本定理(FTA)的证明。 这些证明被导出至 Lean 4 并经过内核检查,验证了该架构在形式化验证中的有效性。
论文提出图谱修复形式化诊断框架,通过抽象重写系统从合规图谱引入违规,确保约束可证覆盖。 方法应用于基于大语言模型的修复手段,多指标评估显示其有效区分不同算法在各类约束下的性能。 结果突显细粒度系统化工具在图谱修复领域的重要性。
本文首次严格分析多神经元凸松弛的表达力,证明即使针对有限神经元和层最优分配资源,其本质仍不完备,将单神经元凸屏障扩展为通用凸屏障。 作者指出可通过增加多项式数量的 ReLU 神经元或将输入域划分为凸子多面体实现完备性,从而区分多神经元与单神经元方法。该研究为多神经元松弛方法奠定基础,指引了面向认证鲁棒性的新训练与验证方向。
论文提出包含五类能力的归因框架,用于界定获取表征后的认知扩展边界。 框架区分有效追踪、应用获取结构及获取新能力等五个维度。 该框架应用于Othello-GPT世界模型解释,明确了标准发现与积累的认知归属。
论文提出无训练预测器 Forget-Retain Alignment Gap (FRAG),通过评估更新中遗忘关键权重与保留关键权重的对齐程度,比全局权重位移更可靠地预测 LLM 机器遗忘的鲁棒性。 研究基于遗忘关键、保留友好的原则,提出 Forget-Retain Pruning (FRP) 技术以增强模型抗重学习能力,结果表明权重选择性比单纯距离更能解释鲁棒性。
研究者提出自监督测试时训练方法 ReLAT,利用查询本身作为参考,通过可微的重建循环闭合潜层推理回路。 该方法在 Qwen 系列模型的数学推理、知识问答和代码生成基准测试中表现优于多种基线。在 Qwen3-8B 上,ReLAT 将 AIME 2024 准确率从 56.7% 提升至 73.3%。
提出RoRo框架,利用基于评分标准的奖励优化大型推理模型(LRM)的步骤级模型路由,解决仅使用结果奖励无法评估中间路由决策的问题。 框架通过交替优化生成查询特定的评估标准并打分,结合结果奖励使用GRPO优化路由策略。 实验显示,RoRo在五项推理基准测试中优于强基线,实现了更优的准确性与成本平衡。