BQ-LoRA:作为参数高效微调隐式正则化的二值量化低秩适配器
BQ-LoRA 将 QLoRA 的 FP16 适配器替换为单比特二值化,结合每层学习 scale 与 STE,使适配器存储减少 13-16 倍。 在 Qwen2.5(1.5B-72B)上,BQ-LoRA 基准平均分超过 QLoRA 0.8-3.5 分;在 Qwen2.5-7B 上,其 WikiText-2 PPL 仅比 4-bit 基线高 0.06。
BQ-LoRA 将 QLoRA 的 FP16 适配器替换为单比特二值化,结合每层学习 scale 与 STE,使适配器存储减少 13-16 倍。 在 Qwen2.5(1.5B-72B)上,BQ-LoRA 基准平均分超过 QLoRA 0.8-3.5 分;在 Qwen2.5-7B 上,其 WikiText-2 PPL 仅比 4-bit 基线高 0.06。
研究提出开源验证器 Gandalf,在评分标准型智能体环境中以更低成本实现更高 F1。 基于 2,464 个人类判定标准构建 BankerVerifierBench,Gandalf 搭配 Gemini 3 Flash 时 F1 达 0.864(基准 0.852),成本仅为基准的 1/5;搭配 GPT-5.4 时 F1 提升超 0.12。
Visa Research 通过微调预训练模型 Llama 3.2 1B,利用数十亿行标注表格数据训练出模型 VRLLM,该模型性能超越了多种表格分类器及现有的生产级深度学习模型。 研究团队在论文中详细说明了数据准备、训练策略及部署验证流程,并通过消融实验发现最早的两个 FFN 层对任务信息的涌现有贡献。 该研究为将紧凑型 LLM 适配到工业级表格预测任务提供了一套工程方案与实证案例。
在检索增强视觉-语言-动作模型中,基于闭环效用选择演示的池在760集配对回合中成功率达66.4%,视觉相似度选择仅达55.7%。 效用比相似度高出10.8个百分点,且在19个任务中的18个未平局任务上表现更优;相似度选择与随机选择无显著差异(+0.1个百分点)。 通过效用筛选的5演示池比预置20演示池高7.0个百分点,效用排序检索在完整池内高4.5个百分点。
提出智能体 Retriever-Perceiver-Reasoner 框架优化多模态科学文档推理,基于 7B/8B 模型在四个基准上平均得分 69.9/75.0,超越最强基线 4.0/9.1 分。 通过诊断引导共进化及 RPF/LEF 反馈机制实现检索与潜在指导的针对性优化。
研究者提出 OICycle 模型,通过从回顾性轨迹中学习随机信念状态,将部分可观察马尔可夫决策过程应用于纵向临床决策。 该模型基于 MIMIC-IV 等数据构建了包含 72,075 次住院记录的基准测试集。与无历史模型相比,OICycle 将下一步干预自适应召回率从 0.253 提升至 0.347,死亡率预测 Macro-F1 从 0.585 提升至 0.649。
物理感知课程引导 PCGRL 框架解决复杂平台游戏长序列生成中的探索瓶颈与扩展限制,显著提升结构多样性并维持高物理可玩性。 引入膨胀体积包络机制将连续运动可行性融入 MDP 离散状态空间,结合中间状态转移反馈和多阶段正向扩展课程学习实现长时程稳定信用分配。
提出 FLCVA 框架以全面审计自适应推理中的计算成本与收益。 在 GSM8K 和 MATH-500 测试中,随机 256-token 续写可修正 Qwen3-8B 26.6% 的错误答案,但 DeepSeek 模型仅 18.9%。 FLCVA 被 EACL 2027 接收,用于分离测量、预测及计算分配三个阶段,验证了轻量控制器的局限性。
提出空间局部小批量训练法,使低秩神经表示(LRNRs)可用自适应网格解的单个小胞元数据训练,避免全局误差。 该方法利用低秩结构,使局部步骤仅影响共享基的低维子空间;在六个双曲守恒律问题中,以密集网络十分之一的参数量达到1.1%-2.3%相对L2误差。 作为对比,同等规模的超网络SIREN、DeepONet和FNO在相同局部批次下误差达16%-78%,而LRNR仅为4.9%。
CrossEnv框架提出利用实体工具图识别环境连接,合成可执行、可验证的跨环境任务,解决单一环境数据无法捕捉服务间依赖的问题。 该框架结合跨环境数据与从单环境多环境协调逐步引入用户交互的课程学习策略,在四个外部基准测试中用更少训练样本达到竞争性性能。 分析证据表明该数据与课程训练有助于向新环境组合及更长工作流迁移。
研究在 Stable Diffusion 1.4 上对比了权重空间编程生成的程序与基线,发现预注册的改写流程相比强基线并无优势。 探索性对比显示,Astra 一次性程序将 VLM 联合成功率提升 +10.0 点,但 CLIP 相对匹配无显著变化;改写程序后 CLIP 提升 +6.2 点,联合成功率则下降 -9.7 点。
基于 Llama-3.1-8B-Instruct 在 100 个人设上的实验表明,激活导向并非总是能替代提示词进行情感启动,其有效性取决于具体测量指标。 注入路径在感恩领域(beta ~ 2.7)可匹配真实提示效果,但会导致失控领域远端指标非对称偏移;且省略写作任务本身即会改变近端测量结果。 该研究揭示了情感诱导方式互换时的效度边界,提示不同操作化路径需分别验证有效性。
公开 LLM 排行榜的头部模型分数存在系统性高估,源于排名机制奖励了采样运气。研究提出 RULER 框架,利用 m-out-of-N bootstrap 修正排名诱导偏差。
研究者提出 ToR-OT,一种基于 transformer 的模型,通过自回归 token 回归预测离散最优传输(OT)计划。 ToR-OT 将 OT 重构为结构化序列生成任务,解码器仅预测非零项,利用精确离散解的稀疏性避免输出密集耦合矩阵。 该模型旨在探索自回归 transformer 学习受限优化问题结构的能力,目前尚不能替代经典求解器。
针对多解问题,Proximal Targets 证明传统循环精炼器存在不可消除的损失下限,并提出近端目标策略,训练每次迭代收敛至最近正确解。 使用 170 万参数网络,该方法在含 2-64 个解的数独中准确率从 2.5% 提升至 98.8%,在 10,000 个以上解的稀疏数独中从 0.0% 提升至 93.8%。
提出轻量级架构修改EchoMoE,通过传输压缩差异替代完整隐藏状态,将MoE模型跨节点通信量减少58%,吞吐量提升22.6%。 该方法仅需约8500倍少于全预训练的token进行微调,支持量化通信且对vLLM有推理集成,18个基准测试平均性能损失控制在3.8个百分点内。
Inspect基准测试显示,存储偏好会导致AI助手在后续回答中遗漏关键信息。Gemini 2.5 Flash-Lite和DeepSeek V4 Pro在93%和84%的后续回答中静默遗漏关键项,且在80%-95%的价值依赖型选择中代替用户做出决定。该研究公开了测试场景、测试框架及运行日志。
对 8 个 LLM 进行心理学调查,发现它们一致将世界描述得比人类更不美好、安全与有活力。 基座模型观点更积极,说明悲观倾向由 post-training 驱动;系统提示词及模型间对话能显著改变世界观。 模型对话使观点收敛至“灵性极乐”状态,该状态能产生最对齐且最安全的响应。
论文提出多维偏好引导在线直接偏好优化(MPG-DPO),利用低成本多维评估构建个性化偏好锥体以指导响应选择,在匹配查询预算下优于现有方法。 该方法首先剔除在用户偏好下被确信支配的响应,再选取保留锥体下具有最强未解决分歧的竞争性响应对,理论分析表明查询浪费随学习进行消失。
BRED 控制器通过读取全轨迹证据进行自主研究轮间决策,在三个基准任务上优于基线。 它在 ETTh1 上 MAE 降至 0.4172,SST-2 和 CIFAR-100 准确率分别提升 3.44 和 3.43 点。 代码已公开,验证了 LLM 基于累积证据决策的有效性。
论文建立了噪声无关去噪生成的优化框架,将生成过程解释为固定对数密度景观上的梯度上升,并证明了轨迹在 $O(m\sigma_{min}^2/\tau)$ 内几乎必然收敛至参考流形。 研究推导了源汇恒等式以证明有限分辨率的区域覆盖性,并在仿射构造中识别出能避免记忆化且保留多样性的正带宽机制。 实验结果证实了预测机制,展示了在大步长引导下的鲁棒性提升及与有限数据生成泛化一致的性能增益。
提出EDA框架,通过观察、验证和评估三个阶段实现基于证据的多模态抑郁症分析,解决长录音摘要中单一观测来源及决策相关性难以审查的问题。 在D-Vlog和LMVD数据集上,基于7B冻结骨干的EDA支持使F1分数在D-Vlog Leave-Query-Out和LMVD上分别比直接预测提高7.61和9.88个百分点。
研究审计300个临床案例,发现55.2%达到可接受最终诊断的医院轨迹经过中度或重度潜在伤害决策。 基于MIMIC-IV和ASCENT基准,结构化纠正解决73.6%的首次错误,但30.2%的纠正后决策仍引入新潜在伤害。 表明正确最终诊断不能证明轨迹安全,成功纠正也不能保证恢复过程无风险。
NVIDIA 对 Nemotron 3.5 Super 进行 RL 后训练,在五个专家任务数据集上显著提升性能。 使用 rank-32 LoRA adapter,SWE-bench Pro V2 从 86.9% 升至 92.1%,GDP_pdf 从 10.4% 升至 24.2%。 各适配器在原本失败的任务上表现更优,如工具使用适配器先找数据再行动。
研究提出决策对齐训练后量化(DAQ)方法,通过校准量化器使神经元发射决策与浮点参考对齐,在脉冲Transformer中实现4-bit权值和膜变量量化。 实验在图像分类、语义分割和事件跟踪任务中验证DAQ有效性,在FE108数据集上SDTrack模型达到58.8% AUC和90.9% PR,同时降低66.2%能耗。
针对 HVAC 系统的四个 Modelica 案例研究表明,深度强化学习(DRL)优于规则控制的幅度有限。 在冷凝水复位场景,DRL 仅比近优参考低 1.3%;在预冷却场景,人工调优规则性能仍优于 DRL。 建议研究应明确最佳规则与近优参考间的差距,并报告在共同仿真 FMU 训练中遇到的实际困难。
EvoSkill-S1 提出 RL 驱动框架,将可复用技能作为进化对象,通过 5 种遗传启发算子生成子技能。 该框架在 Qwen 和 GPT 系列求解器下,相较于初始技能库相对提升最高 12.39%;对比无直接进化最强外部基线,最大相对改进达 20.39%。
研究提出合成数据生成管线,结合扰动松弛、MatterGen 生成采样和原型结构枚举,使用机器学习原子间势代替 DFT 松弛,降低扩散预训练对高成本 DFT 数据的依赖。
研究人员隔离出演示条件提示搜索(DCPS)作为机制归因控制,发现其在 StablePrompt 中匹配 PPO 准确率的同时成本约为其三分之一。 在 DSPy 系统中,DCPS 在 GPT-4.1-mini 上匹配 GEPA 准确率,rollout 数量减少 55%,API 成本降低 32%。 研究建议基准测试需报告 rollout 数量、token 用量和美元成本。
COTTI 提出对比训练与时间感知推理框架,将历史表征学习与事件时间分数调整分离,解决促销事件导致的流量偏移问题。 该框架包含跨期对比对齐、主动重加权及自适应边界对齐模块,在 Fliggy 数据上离线 AUC 达 0.8127,p99 延迟 38.9ms。 在线实验显示,COTTI 较基线模型转化率提升 3.14%,千次收益提升 2.68%。
TempQuant 通过学习自适应温度与 top-p,显著提升量化大语言模型的生成准确性。 在 3-bit Qwen3-4B 模型上,全局 TempQuant 将 MATH 评测准确率从 34% 提升至 51%。 该方法弥补了量化导致的性能下降,使量化模型行为更接近全精度基准。
PACT通过保护正确计划并修复错误动作,将AndroidWorld任务成功率从60.34%提升至68.97%。 该框架在OSWorld桌面基准上将成功率从40.92%提升至44.17%,有效弥合执行差距。
研究提出VTT数据集与基准,利用运动轨迹和CAN信号识别未见车型的车辆尺寸与动力类型,包含9,062次驾驶记录。 模型在电池纯电与燃油车区分上的宏观F1值达92.6%至93.0%,尺寸分类准确率从62.9%提升至67.1%。 物理特征分析表明动力识别关联减速行为,尺寸识别关联转向响应,跨车型泛化受标签分辨率限制。
MillBill 提出将 Machining 决策与几何执行分离的智能体,使用本地部署的开源模型 Qwen3.8-27B 规划三轴加工操作。 系统通过几何框架生成刀具路径并模拟材料去除以提供反馈,其设置规划考虑了刀具的物理可达性而非仅可见性。 在指定容差内目标表面积占比的评估中,该方案优于自行构建几何与刀具路径工作流的前沿模型方法。
MOSAIC 是一个多模态流匹配 Transformer,支持分子 3D 结构与紫外、红外及拉曼光谱间的任意生成。 在 QM9S 数据集上,其分子图恢复率达 88.8%,比最强光谱生成结构基线高 23.2%。 该模型支持利用生成光谱匹配实验参考值来识别分子。
开源智能体 CADMAGEDDON 利用 Qwen3.8-27B 模型,通过单 GPU 本地推理从网格重建可编辑 CAD,质量超越前沿模型系统。 该方法将任务分解为视觉决策链,结合几何工具精确构造,并集成至 FreeCAD 工作流,降低算力门槛。
本文提出 BernBRS 框架,用于对采用伯恩斯坦多项式激活函数的 DeepBern-Nets 进行高效且高精度的反向可达性分析。该框架能同时计算反向可达集(BRS)的认证内近似和外近似,并通过分析激活模式来智能细化输入空间覆盖。作者在高维模型(如线性化的 Half-Cheetah 控制器和蒸馏的 Transformer 块)上验证了该方法的可扩展性。
智能体技能复用因环境变更过期,可致性能下降10个百分点、成本增40%。 提出选择性维护机制,无需额外模型调用即可修复状态,最高提升准确率67pp、减少37%步骤。 确保技能在环境演进中保持推理价值。
系统 LMLineage 将智能体输出溯源至输入片段,单 GPU 每秒完成归因,支持 40 轮上下文稳定运行。 评测涵盖 gpt-4o-mini 等 3 模型,发现窗口级嵌入相似度优于全文匹配;概念漂移检测假压缩率为 0%。 该方法无需白盒访问或额外推理,已申请配套专利。
在权重空间编程任务中,前沿 LLM 设计出的稀疏表模型在多选题测试集上达到 54.4% 准确率,参数数量比同 LLM 编写的 Transformer 少约 1,800 倍。