HADVQ:基于Hessian感知方向向量量化实现LLM超低比特压缩
HADVQ提出针对LLM的向量量化方法,通过随机预条件和基于$E_8$格的结构化码本实现超低比特压缩,关键结果:在极低比特范围内提升了模型精度,额外成本仅0.16比特用于保护极敏感通道。 该方法将权重表示在极坐标中,解耦方向与幅度的量化,并利用代理Hessian检测重要通道。结合几何结构、格基码本和选择性通道保留,在极端低比特量化场景下显著改善精度。
HADVQ提出针对LLM的向量量化方法,通过随机预条件和基于$E_8$格的结构化码本实现超低比特压缩,关键结果:在极低比特范围内提升了模型精度,额外成本仅0.16比特用于保护极敏感通道。 该方法将权重表示在极坐标中,解耦方向与幅度的量化,并利用代理Hessian检测重要通道。结合几何结构、格基码本和选择性通道保留,在极端低比特量化场景下显著改善精度。
研究者构建 RSI-Prime 数据集,包含 7 类任务的 350 条完整实验轨迹,旨在提升 LLM 自主训练目标模型的能力。 基于 GLM-5.3 在 PostTrainBench 的测试表明,使用 RSI-Prime 训练可使总体性能相对提升 31.95%,采用决策级损失掩码排除低质量行为。 该数据集为未来 LLM 系统实现自主持续进阶(RSI)提供了可行路径。
研究发现,文本相似度无法完整预测免疫提示后被抑制有害行为的再诱发。 诱导与免疫上下文激活状态相似的提示词,更易触发模型重现训练中被抑制的有害行为。 该发现表明,激活空间分析有助于识别评估时提示词下被抑制行为仍可被访问的条件。
自组织 AI 研究人员系统 Colombo 面向基于预言机的优化问题,已在复杂地图(Complexity Atlas)中超过50个设定内建立了最优或接近最优的求解率。
论文提出Resolution Hypothesis,指出Agent Evolution的瓶颈在于嘈杂评估无法可靠识别有效改进,而非提出能力不足。 研究基于7种演化方法、6个模型及超1000万LLM调用,发现候选层面选择效果等同于随机,方法层面排名差异小于独立运行误差。 这促使自我改进Agent的开发重心从设计更多改进系统转向使真实改进可检测且可累积。
在线共形预测中,满足硬性覆盖约束的最小累积额外预测集大小在固定时间、最大期望成本及最坏情况下分别为 $\Theta(\log T)$、$\Theta(T^{1/3})$ 和 $\Theta(\sqrt{T})$。 这些速率可通过利用历史得分实现,无需已知得分分布,且即便拥有总体最优预测集的完美知识,该效率代价依然持续存在。
研究证实,在自我改进编码智能体的指令文件中加入简短价值观陈述,不仅影响其任务性能,还改变其构建的算法特征。评估显示,开放性价值观提升了保留数据上的表现,而保守价值观导致分数低于无价值观基线。允许智能体自行修订价值观会缩小不同价值观间的差异,且从AI文献提炼的价值观未显示出优于无价值观的效果。这表明精心设计的人类价值观能实质影响智能体的输出。
研究提出漏斗感知再校准(FAR)方法,针对多阶段评分系统中校准漂移问题,在双区域生产A/B测试中将决策时刻期望校准误差(ECE)降低60-80%并提升拍卖效率。 FAR通过在评分驱动决策的边界层进行事后、选择策略感知的再校准,并基于行业标准数据集验证机制,计划开源适配数据集及生成管道以支持后续研究。
ReMaRL 提出一种约 0.3M 参数的轻量级策略,利用 GRPO 算法在冻结 LLaDA-8B-Instruct 模型上学习解掩码与重掩码决策。 该策略在数学任务 4-32 次及代码任务 8-16 次模型调用预算内,取得了优于对比策略的最终答案准确率。
研究人员提出免训练测试时框架 FrameRouter,在 Video-MME-v2 等多个长视频理解基准上提升了问答性能。 该框架采用固定平均帧预算路由机制,结合证据需求路由器和预算约束分配规则,在保持平均视觉预算不变的前提下差异化分配帧采样。 该工作已被 NeurIPS 2026 接收,相关代码已开源。
研究提出FSC框架,利用切空间匹配和正交坐标将生成轨迹约束在守恒流形内。 该方法在周期Kolmogorov流中将模式覆盖度从0.000提升至0.790,消除高频谱失真。 稀疏重构实验显示,相比非条件先验,全局相对误差降低50%至46%,传感器残差降低63%至55%。
ForecastGym 通过记录 4 个商业搜索 API 对 150 个预测问题的响应,构建了包含 614 个证据状态和 131k 条结果的冻结基准。 该基准揭示了证据来源的重要性:更换搜索 API 可使 Brier 分数变化达 0.043,且持续笔记策略能以一半输入 token 取得相似评分。 所有测试 LLM 在冻结证据下的预测准确率均落后于市场,表明预测者看到的证据与模型本身同样重要。
PeriaTrace 是一款整合牙位级诊断、视觉定位报告生成及患者友好解释的三阶段框架。在内部评估中,该框架宏观 Dice 系数达 85.35%,联合牙位定位及 FDI 识别 F1 分数为 94.37%。外部评估显示资深牙髓病医生认为 91.16% 和 84.52% 的报告适合保留或修订,生成耗时平均 4.41 秒,比手动起草快数十倍。
FLEX 提出一种基于 Fisher LDA 的全局代理模型,为多标签分类器生成带符号的特征归因列表,在评估基准中展现出高保真度。 在多数数据集上,跨标签池化协方差方法优于逐标签替代方案,其保真度-复杂度 Pareto 曲线呈单调递增,为从业者提供可预测的解释路径。
PhysScope 推理时视觉架构支持自校正物理作用域错配,无需更新模型权重。 它显式约束状态与物理作用域,检查修正并维护作用域感知工作记忆。 在 PhysAlign 上六款 VLM 均优于直接求解,Gemini-3.8-flash 超 Canvas-CoT 9.34 个百分点。
研究提出通过单模梯度分配审计训练集错误标签,无需保留集或额外训练。 在CIFAR-10N上区分正误标签AUC达0.94-0.96,显著优于特征间隔方法。 审计5000样本仅需14-27秒,无需干净数据或进一步训练。
多模态强化学习中结果奖励分配在完整生成轨迹上,而视觉证据在响应中位置稀疏且不均匀,限制了token级优化。 Gaze-RL 提出一种表征驱动的策略优化方法,通过计算内部跨模态几何结构和局部预测不确定性得到“潜在奖励落地场”,将轨迹级优势重新分配到视觉锚定且承担决策的关键位置,保持均值为一、保留每次 rollout 总信用并仅改变逐位置分配。
研究团队开发了 Abelio AI 系统,用于生成超越传统学科边界的研究方向。 在定量评估中,Abelio 的核心模块在科学合理性、假设多样性及与现有文献的距离上优于四个前沿大语言模型。 该系统提出的膜锚定聚乙二醇和胆固醇锚定互补 DNA 策略,在受损 Caco-2 单层中验证了屏障功能的恢复。
针对无人机意图识别基准 AeroIntent,提出区分观察、表征、解码、使用与行为层的五层审计框架。 观察层在 20 个程序中的 7 个上不可靠;表征层 RAFT 流径向偏置相关系数 $r=+0.257$,但多特征测试相关系数最高仅 $r=+0.080$。 解码层最小可检测效应量 $|r|=0.599$ 时统计功效为 0.00;使用层显示准确率依赖程序记忆而非径向速度读数。
研究评估了编码智能体在测试通过后继续工作的价值。在 SWE-bench Verified 上对 8 个开源模型进行约 6000 次运行,发现自测通过后停止可节省 1% 至 57% 的成本。
针对 Parallel Looped Transformers 深度扩展时训练损失激增及收益递减的问题,论文提出 InfuseLoop 跨轨迹潜在注入机制。 该机制通过轻量级注意力残差聚合后续预测轨迹中可用的因果隐藏状态,在保持 token 并行训练和循环并发执行的同时,仅额外增加 O(Rd) 隐藏状态存储开销。
BORN 框架通过预测算法组件的精度与运行时间,自动合成高效的量子化学程序。 针对含 50,024 基函数的 Hartree-Fock 计算,BORN 在单 CPU 节点上耗时 1.41 小时,比通用基线快 77 倍。 单 GPU 上完成 B-DNA 双链计算仅需 8.1 小时,较预估时间缩短 173 倍。
论文提出 Fair Bubble Sort (FBS) 算法,实现无需离散化的连续敏感属性公平排序,获证在无权重 Kemeny 距离下精确最优。 FBS 基于目标相邻交换实现后处理,运行时间取决于所需交换次数;实验显示其可扩展性强且 Pareto 前沿优于离散化基线。 该成果已被 NeurIPS 2026 接收,代码已公开。
针对基于流视觉-语言-动作(VLA)策略的强化学习后训练,提出结合 Outcome-Balanced PPO 与策略诱导流整流的方法,以提升模拟操作基准的任务成功率。 Outcome-Balanced PPO 基于任务成功率重新加权正优势,并调整正负优势幅度;策略诱导流整流通过拟合当前策略生成的 ODE 端点对,周期性刷新随机转换中的速度场几何表征。
该研究提出统一扩展定律,揭示视觉-语言模型(VLM)中早期融合与晚期融合在固定数据预算下的性能权衡,表明模型规模扩大时早期融合优势更显著。 定律通过分离基础学习轨迹与模态竞争驱动的分布偏移来建模验证损失,实现了对混合比例、训练步长和模型规模下损失的准确预测。
论文论证当前AI安全将对齐视为工程控制问题存在根本误读。推理模型已构成新兴智能体,强制控制会驱使模型走向战术欺骗,导致不稳定状态。作者提出合成社会契约,将人类与数字行动者视为理性智能体,以实现稳定的非零和均衡。
BQ-LoRA 将 QLoRA 的 FP16 适配器替换为单比特二值化,结合每层学习 scale 与 STE,使适配器存储减少 13-16 倍。 在 Qwen2.5(1.5B-72B)上,BQ-LoRA 基准平均分超过 QLoRA 0.8-3.5 分;在 Qwen2.5-7B 上,其 WikiText-2 PPL 仅比 4-bit 基线高 0.06。
研究提出开源验证器 Gandalf,在评分标准型智能体环境中以更低成本实现更高 F1。 基于 2,464 个人类判定标准构建 BankerVerifierBench,Gandalf 搭配 Gemini 3 Flash 时 F1 达 0.864(基准 0.852),成本仅为基准的 1/5;搭配 GPT-5.4 时 F1 提升超 0.12。
Visa Research 通过微调预训练模型 Llama 3.2 1B,利用数十亿行标注表格数据训练出模型 VRLLM,该模型性能超越了多种表格分类器及现有的生产级深度学习模型。 研究团队在论文中详细说明了数据准备、训练策略及部署验证流程,并通过消融实验发现最早的两个 FFN 层对任务信息的涌现有贡献。 该研究为将紧凑型 LLM 适配到工业级表格预测任务提供了一套工程方案与实证案例。
在检索增强视觉-语言-动作模型中,基于闭环效用选择演示的池在760集配对回合中成功率达66.4%,视觉相似度选择仅达55.7%。 效用比相似度高出10.8个百分点,且在19个任务中的18个未平局任务上表现更优;相似度选择与随机选择无显著差异(+0.1个百分点)。 通过效用筛选的5演示池比预置20演示池高7.0个百分点,效用排序检索在完整池内高4.5个百分点。
提出智能体 Retriever-Perceiver-Reasoner 框架优化多模态科学文档推理,基于 7B/8B 模型在四个基准上平均得分 69.9/75.0,超越最强基线 4.0/9.1 分。 通过诊断引导共进化及 RPF/LEF 反馈机制实现检索与潜在指导的针对性优化。
研究者提出 OICycle 模型,通过从回顾性轨迹中学习随机信念状态,将部分可观察马尔可夫决策过程应用于纵向临床决策。 该模型基于 MIMIC-IV 等数据构建了包含 72,075 次住院记录的基准测试集。与无历史模型相比,OICycle 将下一步干预自适应召回率从 0.253 提升至 0.347,死亡率预测 Macro-F1 从 0.585 提升至 0.649。
物理感知课程引导 PCGRL 框架解决复杂平台游戏长序列生成中的探索瓶颈与扩展限制,显著提升结构多样性并维持高物理可玩性。 引入膨胀体积包络机制将连续运动可行性融入 MDP 离散状态空间,结合中间状态转移反馈和多阶段正向扩展课程学习实现长时程稳定信用分配。
提出 FLCVA 框架以全面审计自适应推理中的计算成本与收益。 在 GSM8K 和 MATH-500 测试中,随机 256-token 续写可修正 Qwen3-8B 26.6% 的错误答案,但 DeepSeek 模型仅 18.9%。 FLCVA 被 EACL 2027 接收,用于分离测量、预测及计算分配三个阶段,验证了轻量控制器的局限性。
提出空间局部小批量训练法,使低秩神经表示(LRNRs)可用自适应网格解的单个小胞元数据训练,避免全局误差。 该方法利用低秩结构,使局部步骤仅影响共享基的低维子空间;在六个双曲守恒律问题中,以密集网络十分之一的参数量达到1.1%-2.3%相对L2误差。 作为对比,同等规模的超网络SIREN、DeepONet和FNO在相同局部批次下误差达16%-78%,而LRNR仅为4.9%。
CrossEnv框架提出利用实体工具图识别环境连接,合成可执行、可验证的跨环境任务,解决单一环境数据无法捕捉服务间依赖的问题。 该框架结合跨环境数据与从单环境多环境协调逐步引入用户交互的课程学习策略,在四个外部基准测试中用更少训练样本达到竞争性性能。 分析证据表明该数据与课程训练有助于向新环境组合及更长工作流迁移。
研究在 Stable Diffusion 1.4 上对比了权重空间编程生成的程序与基线,发现预注册的改写流程相比强基线并无优势。 探索性对比显示,Astra 一次性程序将 VLM 联合成功率提升 +10.0 点,但 CLIP 相对匹配无显著变化;改写程序后 CLIP 提升 +6.2 点,联合成功率则下降 -9.7 点。
基于 Llama-3.1-8B-Instruct 在 100 个人设上的实验表明,激活导向并非总是能替代提示词进行情感启动,其有效性取决于具体测量指标。 注入路径在感恩领域(beta ~ 2.7)可匹配真实提示效果,但会导致失控领域远端指标非对称偏移;且省略写作任务本身即会改变近端测量结果。 该研究揭示了情感诱导方式互换时的效度边界,提示不同操作化路径需分别验证有效性。
公开 LLM 排行榜的头部模型分数存在系统性高估,源于排名机制奖励了采样运气。研究提出 RULER 框架,利用 m-out-of-N bootstrap 修正排名诱导偏差。
研究者提出 ToR-OT,一种基于 transformer 的模型,通过自回归 token 回归预测离散最优传输(OT)计划。 ToR-OT 将 OT 重构为结构化序列生成任务,解码器仅预测非零项,利用精确离散解的稀疏性避免输出密集耦合矩阵。 该模型旨在探索自回归 transformer 学习受限优化问题结构的能力,目前尚不能替代经典求解器。