vLLM Hook v1:编程 vLLM 模型内部状态的开源插件
开源插件 vLLM Hook 发布,允许通过配置捕捉和干预 vLLM 模型的内部状态,实现被动探测与主动干预。 版本 1(vLLM Hook MIA)基于 vLLM V2 模型运行器,保留 CUDA 图,显著降低解码开销,支持离线使用与 vllm serve 服务。 该插件支持提示注入检测、幻觉检测、激活转向等用例,扩展了推理引擎的可编程性。
开源插件 vLLM Hook 发布,允许通过配置捕捉和干预 vLLM 模型的内部状态,实现被动探测与主动干预。 版本 1(vLLM Hook MIA)基于 vLLM V2 模型运行器,保留 CUDA 图,显著降低解码开销,支持离线使用与 vllm serve 服务。 该插件支持提示注入检测、幻觉检测、激活转向等用例,扩展了推理引擎的可编程性。
GSBR(几何支持行为正则化)通过按动作与基础策略支持集的动态距离施加平滑惩罚,有效平衡在线强化学习中的样本效率与学习稳定性。 该方法允许支持集内的动作无惩罚,仅在价值估计低的外部区域逐渐增加约束,且只需访问基础策略样本即可实施。 在4个机器人基准的19项任务中,GSBR将平均成功率从基础策略的33%提升至95%,其归一化吞吐量比次优强化学习方法高约23%。
Aero-VPA 在 PX4 仿真中完成首次闭环评估,DAgger 策略成功率峰值 21.1%。 配合 15 秒深度记忆地图免运维护栏,成功率升至 52.2%,崩溃率降至 22.2%。 72.6 MB 策略代码与数据集已开源。
研究者提出 NovoCRF,这是首个在全部质量可行肽上进行精确全局归一化训练的从头测序 CRF 模型。 该模型拥有 31 万个参数,训练耗时约 17 GPU 小时;在 126,262 张谱图中,其平均肽召回率为 42.4%,氨基酸召回率为 64.0%,速度是 Casanovo 在 GPU 上的 55 倍。 NovoCRF 还能搜索未参与训练的修饰,例如在狮骨样本中找到了 32.1% 的羟脯氨酸肽。
研究证明精确近端预言机未能改进有限和型非凸-强凹极小极大问题的多项式复杂度。 针对 $n$ 个分量,任何随机自适应算法需 $\Omega(n+\min\{\sqrt n\,\kappa,n^{3/4}\sqrt\kappa\}L\Delta/\varepsilon^2)$ 次查询。 该方法填补了精确近端响应在揭示隐藏方向方面的理论空白。
针对 291 个开源 LLM 仓库 280 个 embedding 表的调查,发现 52.6% 的 untied 权重的 gated 和 hybrid 检查点存在近零输入 embedding,且 0% 的 weight-tied 模型存在该问题。
Qwen3.5-0.8B 配合低秩适配器在 Sketchpad 框架中实现了任意长度算术的精确计算,所有 2,446 个视图测试均通过。该模型在浏览器运行,解决了 200/200 预注册问题及长位数加减乘除运算,表现优于 GPT-6.1 Sol。 代码采用 Apache 2.0 许可证开源,符号运行时支持多项式求解与因式分解,适配器门控可恢复基础模型功能。
ExaTune 是一款开源 HPC 系统,可生成超参数景观地图,通过 K 折交叉验证穷尽评估离散网格上的所有点。 系统发布了包含 8 个完整景观地图的基准集合,涵盖 285,080 个配置及 SVM、XGBoost 等 5 个模型族。 分析表明贝叶斯优化等常规方法会系统性遗漏景观图中的不稳定区域及参数交互效应。
研究评估了13个半合成站点组成的联邦学习系统在600轮交互中的信任边界稳定性。 固定参考门控虽优于起始模型,但允许了29%对当前模型有害的传输;基于当前模型的门控虽将有害传输降至2%,却遗漏了对起始模型有益的部分。 在38%对抗站点场景下,FedFomo与CS-Gate是仅有的在诚实组中均实现正向平均增益的方法。
研究提出 Mixture of Wide Experts (MoWE) 稀疏前馈层,通过固定不相交输出坐标实现可解释的原生坐标读取,在已知隐藏因子的受控任务中比密集和标准 MoE 模型更清晰定位原因。
MultiMaxPO 提出基于多轴 Max@K 目标的强化学习后训练方法,以提升文生图模型的代表性多样性并覆盖预定义模式。 该方法在 Stable Diffusion 3.5 Medium 上使公平性得分(Fairness Score)提升 0.22-0.36,在 FLUX.1-dev 上提升 0.07-0.19,且优于匹配 RL 基线。
针对企业采购 AI 推理排放核算缺失问题,提出基于 Token 的核算方法,其中间级因子为全球平均电网下每百万计费 Token 排放 0.039 kg CO2e。
summary_zh: 提出物理锚定隐式时间尺度 Mamba(PALM),通过将状态矩阵与步长锚定于物理单位解决记忆时间尺度错位问题。 在 fMRI 数据中 PALM 比 Mamba2 表征相似度高 11%,在 Weather-5K 预测中平均误差低于最佳基线 15.2%。
研究采用 DSPy 框架结合 HELM 基准,发现提示选择会显著改变排行榜。 使用 5 种提示方法评估 4 个前沿及 2 个开源大语言模型,结构化提示平均提升性能 6%,5/7 基准排名发生变动。 已开源 DSPy+HELM 评估工具及提示优化流程。
研究团队提出一种神经符号架构,结合对象级结构提取与基于神经先验的候选变换提案,通过跨样本一致性检查过滤假设。 该框架将 Grok-4 作为基础求解器,在 ARC-AGI-2 公共评测集上将准确率从 16.0% 提升至 24.4%,结合 ARC Lang Solver 与元分类器后达到 30.8%,代码已开源。
论文提出 Qrita,一种基于枢轴截断与选择的 GPU Top-k 与 Top-p 采样算法。 该方法采用基于高斯分布的截断(Gaussian-based $\sigma$-truncation)和带重复值处理的四叉枢轴搜索(quaternary pivot search)。
研究者提出 CE-Graph 框架,通过最小化期望失败质量(Expected Failure Mass)优化基于 LLM 的工作流,而非仅依赖标量指标。 该方法在反例池中近似失败分布,识别高密度区域并应用算子约束图编辑,在数学、代码和 QA 基准上以更低成本实现了比强基线更高的鲁棒性。 该研究已被 ICML 2026 接收为 Spotlight 论文,代码已公开。
GeoFaham 实现最佳整体性能,得分 0.940 高于次优 0.879,且 Token 消耗仅为基线的 7.5 分之一。 系统通过 Orchestrator 协调向量、地图、图像及栅格分析智能体,利用 Response Store 在 LLM 上下文外持久化输出元数据。 代码与基于 40 项任务和 17 条真实灾害记录的 GeoFaham-Bench 基准已公开。
一项针对 174 个真实 Reddit 样本的受控标注任务显示,Kimi K3 以 94.5% 的准确率超过人类多数票(86.2%),且具备成本与速度优势。 73 名人类标注者与 40 多种 LLM 配置参与测试,人类在低共识案例中的定性错误分析揭示了标注体系的不一致性,二者呈互补关系。
Perseus 开源库实现同态模型推理,在 Llama-3-8B 单 token 解码速度达 3.96 倍 SOTA。 支持加密非线性及端到端执行,精度保持明文模型 97% 以上。
LIRA提出基于二阶近似损失的动态秩分配方法,使LoRA在线秩重分配更具可解释性。 其通过定期应用DELTA位移评估算法生成离散有效秩,兼容标准(A,B)适配器。在RoBERTa-base GLUE任务中,LIRA性能优于固定秩和自适应秩基线,且Trajectory EMA在更低估计成本下达到与Fixed-point Fisher相当的精度。
GC-MoE 发布开源 FP8/FP4 MoE 推理算子,利用 CUDA Green Contexts 将 GPU 划分为通信与计算分区,实现 dispatch 与 GEMM 独立并行。
研究表明,在检索任务中,导致大语言模型失败的并非输入长度本身,而是证据间的竞争。在中性填充内容下,Qwen2.5-1.5B 等模型在 32K tokens 上下文中准确率维持 0.97 至 1.00。
研究提出CUSD方法,通过分解任务向量中的公共与独特方向来提升模型合并效果。 在11个基础模型和4种算术操作符的实验中,CUSD在44个模型-操作符组合中的42个取得提升,最高提升22.5%。 该方法已被NeurIPS 2026接收,代码已公开。
Dx-Rx 是首个能盲修复三维 MRI 全脑容积的智能体,利用多模态大语言模型先测量后修复,在 148 个 T1 加权容积上平均去除了 64.5% 的伪影误差。 该智能体调用五个诊断和四个修复工具,表现优于或持平于专家规则管线(62.3%),且代码与演示已公开。
FlagRot 提出了一种选择性旋转方法,用于低比特 KV 缓存。在 2.5 bits/value 下,它将 12 个模型的 KIVI KL 散度从 18.7 降至 12.4 × 10⁻³。 该方法在 9/12 个模型上优于 RotateKV,并在 4 个模型中的 3 个上通过 vLLM 插件提升了 RULER 和 LongBench v1 性能。
EvoMemState 提出了一种以状态为核心的记忆框架,通过关系状态和推理状态增强 LLM 智能体的长期记忆能力。 该框架包含本体引导的状态归纳、基于强化学习的状态演化及状态感知推理三个组件,在长期对话基准测试中提升了检索完整性和回答准确性。
研究提出基于匿名向量几何一致性的检测框架,在十个 LLM 上证实碎片化指标能有效区分已知与未知概念。 后训练过程中,碎片化几何结构与对抗恢复相关性依赖攻击方法,分层分析揭示不同深度对抗机制利用该几何特征。 该单阶段无攻击代理指标可捕获输出层指标无法触及的参数化知识,参考实现已公开。
RAGLog 利用执行日志检测并定位 RAG 各阶段故障,无需参考答案或代码插桩。该工具通过规则、嵌入向量和大模型检查相结合,将异构 API 日志统一为标准 RAG 模式。
开源框架 Simjecture 利用语言模型智能体通过反例证伪和假设修复机制,将 AI 辅助研究范式应用于物理领域。该框架在 82.6 小时调查中解决 Z-pinch 问题,揭示能量转换、保留及释放时机的竞争效应。结果深化了高密度等离子体物理认知,展示了自主研究新范式。
IBM 研究团队发布 Palette,通过微调 20B 开放权重模型并生成约 1000 份合成幻灯片数据,使小模型能遵循特定设计语言生成演示文稿。在 PresentBench 评估中,Palette 在经济和教育两个领域排名第一,三领域平均分排名第二,仅次于 NotebookLM(59.7 对 60.8)。
推荐理由:原文展示了通过微调 20B 模型和特定数据合成方法生成高保真设计幻灯片的完整流程,读者可复用该结构优化其他代码类任务。
Cartesia 利用 State Space Models (SSMs) 在 AWS 基础设施上提供亚 100ms 延迟的文本转语音与语音转文本服务,其旗舰模型 Sonic 首字节延迟约为 90ms,支持 44 种语言及 10 秒样本语音克隆。
开源 Coding Agent Metis 发布,旨在通过定制 Agent 架构解决工程交付问题,并内置硅基流动作为模型服务商。 Metis 采用三层架构:分工明确的 Agent 团队、验证门禁及自学习闭环;支持桌面、终端及 Skill 版,可跨会话积累经验。 该工具让开发者将真实仓库交给 Metis 处理,通过硅基流动统一入口灵活选择模型,实现从调查到验证的完整任务交付。
TMax 开源了终端智能体的强化学习训练方案,9B 参数模型在 Terminal-Bench 2.0 基准中取得 33% 成绩,性能超越此前更大规模的模型。 该方案结合了难度控制、角色设定及验证器多样化分类学生成数据,适用于 2B 至 27B 的开源权重模型,并主导了小模型性能帕累托曲线。 作者公开了数据、模型及代码,旨在为学术界终端智能体研究提供强力基线。
LLMberjack 是一个开源平台,用于将 Reddit 或 Kialo 上的树状辩论数据转化为多方顺序对话。它通过可视化界面辅助用户决定消息的保留顺序与归属,实现辩论树的线性化。 系统集成了大语言模型(LLM)以支持自动编辑消息及参与者描述。该工具已被 EMNLP 2026 系统演示赛道接收。
ACTOR 框架结合143部文学作品构建行为数据集,用于优化小说角色扮演模型。 模型经 RPO 训练在17,560个评估实例中显著提升对角色行为的准确预测能力。 该框架推动文学角色扮演超越对话模仿,代码和数据已开源。
新框架 SAGE 利用语义和语用层面的主观性语言特征,结合轻量级分类器,在 APRDB 基准上实现了 0.9566 的 AUROC。 该方法将 SAGE 输出与 Sem-Detect 结合,使其在 1% FPR 下的 TPR 从 0.874 提升至 0.985,超越当前 SOTA。
该研究提出TRIO方法,通过为三个设计良好的Agent配备迭代精炼范式,解决当前RAG检索不足和幻觉问题。 具体地,查询扩展Agent基于改进的答案质量量化奖励,共识投票标注扩展查询是否充分以优化裁判Agent,答案Agent则通过课程学习进行动态匹配奖励优化。 在多个基准数据集上,TRIO相比SOTA方法有效性得到验证。
在8个对齐模型中,特定有害词通过单一隐藏状态方向改变生成边界,该方向上的投影可单调预测拒绝率。 利用该方向构建全词汇表恐惧/勇气词典,插入未见过的恐惧词会提升拒绝率,而将最恐惧词替换为保义同义词可显著提高回答率。 这一发现揭示了词元层面的线性拒绝机制,为安全微调提供可量化工具。
一项研究使用由三个独立提供者的 LLM 组成的小组,对 41 份 2024 年欧洲议会选举宣言在环境保护和气候变化两个维度进行评分,以替代昂贵的人工编码。 小组在 25 个拥有专家基准的政党中恢复了专家排序,但系统性地评价政党“更绿色”,模型间分歧可作为可靠性信号。 该工具以低成本低成本、多语言且透明,补充而非取代专家调查,提示词、代码和结果已公开。