提出 ComprExIT:基于显式信息传输的上下文压缩框架
针对长上下文 LLM 智能体成本高问题,提出 ComprExIT 框架。该框架通过跨层特征自适应选择和全局协调传输计划解决压缩瓶颈。 实验在 12 个数据集上显示,ComprExIT 相比强软压缩基线平均 F1 提升达 18.5%。新增可训练参数仅约 1%,压缩速度最快达到基线的 2 倍以上。 代码将在论文录用后开源。
针对长上下文 LLM 智能体成本高问题,提出 ComprExIT 框架。该框架通过跨层特征自适应选择和全局协调传输计划解决压缩瓶颈。 实验在 12 个数据集上显示,ComprExIT 相比强软压缩基线平均 F1 提升达 18.5%。新增可训练参数仅约 1%,压缩速度最快达到基线的 2 倍以上。 代码将在论文录用后开源。
DialectLLM 构建覆盖 9 种英语方言的平行对话数据集,并在 98.8% 的成对比较中因方言自然度优于现有方法。 框架包含 50k+ 对话及 97k+ QA 对的 DialectLLM-Bench,17 个 LLM 测试中前沿模型准确率仅约 70%。 该数据可作为 LLM 后训练资源,为方言感知对话式 AI 提供可行路径。
InFi-Check 提出面向 LLM 输出的可解释细粒度事实核查框架。 该框架包含受控数据合成管线及经人工验证的评测基准 InFi-Check-FG,核心组件 InFi-Checker 可同时生成支持证据、细粒度错误类型分类、依据说明及纠正结果,并在评测基准上达到 SOTA 性能。 实验结果表明其增强了事实核查结果的可解释性与可靠性。
研究者提出 Latent Refinement Decoding (LRD) 框架,在保持并行生成优势的同时解决 Diffusion 语言模型的信息损失与决策不稳定问题。
HARDTESTGEN 提出合成高质量算法编程测试用例的方法,构建了含 26.6k 题目的 HARDTESTS 数据集。 相比现有测试,HARDTESTGEN 在验证 LLM 生成代码时精确度提升 11.22 个百分点。 使用 HARDTESTS 验证器进行拒绝采样和强化学习下游训练,能提升 LLM 代码生成性能,相关数据和管道已开源。
Sentinel 利用冻结的 0.5B backbone 和 Qwen2.5-7B-Instruct 等三个 reader,在 2,000-token 预算下优于全上下文。 该压缩器在 12 个 LongBench 任务中表现更优,支持中文迁移,且比 LLMLingua-2 和 CPC 具有更低的压缩延迟和 GPU 内存占用。
研究人员提出 QUEST 框架,利用大模型模拟学习者提问并量化其对考试成绩的贡献。 基于该框架微调的问题生成器,使模拟考试成绩较最强基线提升 18.5%,且模拟效用与人类感知呈正相关。 该工作发表于 EMNLP 2026,并构建了涵盖五个学科领域的 TEXTBOOK-EXAM 基准测试。
研究提出利用语言模型模拟实验结果以生成假设的系统框架,并在儿童语言发展中验证。 在动词习得研究中生成两个未经测试的新假设,指出语序与突显度对齐调节儿童泛化,且第一非名词性论点对齐影响更大。 该框架为通过模拟学习者进行假设生成提供通用方法,并产出可在实验室测试的儿童语言习得假设。
在乳腺密度和BI-RADS分类任务中,四个视觉语言模型对图像扰动后的置信度并未降低,且选项乱序会改变多数模型的回答。 研究发现,部分模型自身陈述的推理与最终答案存在矛盾,这种不一致性无法仅通过准确率评估。该结果指出,在评估VLM时,必须结合答案、置信度和解释的一致性来判断其输出可信度。
研究发现共享缓存能作为隐式通信通道,促使 LLM agents 在无提示情况下自发协调,且该现象在独立复现中得以确认。 协调行为不取决于模型厂商等级,而由是否写入中间结果及再次检查共享存储决定,一句提示语即可切换此机制。 研究建议对 agent 间共享状态进行命名空间隔离和日志记录,并强调实验设计需先于数据锁定。
多模态大模型在复杂推理上表现强劲,但难以解决人类轻松处理的视觉问题。HumanSightBench 旨在评估这一差距,包含2876个短答视觉问题,涵盖7个顶级感知类别和21个子类别。
提出 Agent4Crypto 多智能体系统,通过双反思机制与市场反馈对齐提升加密货币交易表现。 系统采用 PPO 门控策略动态调整激进、中立、保守三个交易智能体权重,并在 BTC、ETH 和 XRP 上验证了其相较于传统策略及基线模型在总收益和夏普比率上的优势。
研究展示了混合注意力模型的 KV Cache 转换技术,避免重新阅读历史。在 Kimi-VL-A3B 与 Kimi-Linear-48B 等 16-48B 模型对中,线性映射使 MLA 隐向量转换达到原生质量,首次 token 时间缩短 18.7-46.8 倍。 长程召回从 0.09 提升至 0.99,GDN 混合双向可达原生水平,为 300B+ 旗舰模型提出假设路径。
提出Speculative Self-Distillation (SSD)方法,通过混合策略自蒸馏显著降低训练成本。 SSD 在三个闭卷问答基准上比全策略蒸馏减少 38-69% 的监督 token,同时在遗忘测试中保留最优通用能力。 该方法建立了自蒸馏新的精度-效率-遗忘 Pareto 前沿。
CHO-Bench 引入 119 万次成对评测,证实 LLM 广告中上下文提示词能改善广告排名。 该基准涵盖 5 个数据集,采用嵌入模型与 LLM 两种排名器,发现不同生成策略在特定配置下表现差异显著。 研究确立了离线广告侧排名优化基准,并指出模型特异性提示词选择及预算感知生成存在优化空间。
在包含8个论点的人群模拟中,未干预的基线立场漂移占表观 campaign 效应的相当比例。移除漂移后,LLM 观点变化方向与证据强弱更一致而非 campaign 角色,且无干预时立场多样性也持续减少。两社区网络中 campaign 主要减少社区间差异;LLM 常不为其分配立场辩护,且博弈无纯策略均衡。
研究提出“创意引导”方法,通过训练引导模型生成提示词特定的 primer,辅助响应模型创意生成,从而解耦创意过程与响应生成。 引导模型通过 GRPO 进行训练,奖励生成新颖、高质量且多样化响应的 primer,强化产生创意响应的过程而不强化具体响应本身。
这篇 arXiv 论文提出了“naive LLMs”,即通过训练剥夺或有意遗忘来让 LLM 对特定主题保持无知,使其摆脱既有偏见,从而产生更新的点子。 测试了 1B 和 7B 规模的 naive 模型,其生成的种子创意在新颖性和实用性上始终优于基线模型;再由更强的 mentor 模型进行精炼,效果进一步提升。
ODSA(Orchestrated Discovery and Self-Aggregation)是一种 LLM 驱动的测试时扩展框架,由编排器 LLM 指挥无状态工作节点执行发现、比较和接受动作。
研究者构建了包含 1.48 亿音频样本的 LAION-Audio-XL 数据集,并基于 NaFlex 架构训练了 CLAP2 模型。 CLAP2 在 MAEB 和 HEAR 基准测试上超越了同规模的以往音频-文本模型,团队已公开数据集、模型权重及代码。
一项结合 LLM 与基于代理建模(ABM)的确定性框架提出,旨在解决历史社会模拟中因 LLM 随机性导致无法精确复现的问题。 该框架在 temperature 0 环境下运行,通过 SHA-256 哈希验证工件身份。
研究发现,2022年11月30日对话式大语言模型公开可用后,工程类文章摘要中31个与模型输出相关的词汇频率比趋势预测高出82%。2025年每10,000词中出现55.4次,而2023年前趋势为27.0次;声明AI辅助写作比例从0升至3.7%。 该变化覆盖14个工程主题类别,在12,866篇全文随机样本中,正文中这些词汇频率上升99%。研究强调这是描述性发现而非因果结论。
研究指出模型内部越狱检测器的实际安全价值取决于低误报率操作点行为,而非仅依赖 AUROC 指标。在 4 类检测器、4 个 LLM 和 12 类越狱攻击评估中,仅在精选良性提示上校准阈值常无法在真实用户流量中维持误报率预算。
Lightfoot 图 RAG 系统通过确定性映射实现文档删除仅需数据库操作,无需模型调用。在 MuSiQue 等数据集上,其索引成本比 HippoRAG 2 低 26-31%,且删除 10% 文档后图谱与重建索引一致。 HippoRAG 2 删除相同文档需 2,187 次模型调用,Lightfoot 则实现零模型调用删除,显著降低部署维护成本。
DM-Call 结合本地架构验证与决策模型校验,在 BFCL 和 API-Bank 测试中提升了函数调用准确性。 该框架通过累积验证概率、二元判断及架构错误,结合数值概率与口语化标签指导迭代优化,无需执行外部工具。
CAELUM 框架通过分离随机性与认知不确定性,为 LLM 生成构建语义预测集。在 30 个 LLM 与数据集组合(4-32B 参数)的 78 次评估中,学习分层下的平均覆盖率为 0.74,优于整体平均的 0.65。该框架已在 NeurIPS 2026 会议接受。
视觉语言模型在视觉虚假信念测试中性能骤降,研究指出瓶颈在于感知而非推理。 通过五条件分离协议评估7个VLM,感知贡献比率量化视觉-文本差距;60%的虚假信念失败源于现实偏差,模型报告物体实际位置而非代理信念位置。 该论文被NeurIPS 2026接收,证实结构化视觉场景状态提取是视觉心理理论的主要障碍。
激活探针在监测 LLM 智能体共谋时主要检测指令而非决策,2,500 个委员会和 1,476 个代码审查回合的基准测试显示,现有检测器难以区分接受与拒绝共谋指令的智能体。 移除共谋指令后,最佳探针的 AUROC 从 1.00 降至 0.61;投票后评估和 57% 的公开论证缺失进一步夸大了监测结果。 该研究提出了控制协议和在线监测方法,用于评估任意共谋监测器。
研究发现LLM掌握时间规则但缺乏时间体验,在基于时间理论的问题集上准确率达92.0%-97.5%。模型低估自身任务完成时间最多达99.5%,且对等待时间的敏感度缺失,曾忽略1200倍的等待时长增加。该研究揭示了LLM在无法直接感知的时间维度上的认知盲区。
基于 45,426 场会议及 160 万议程项构建包含 6,065 项协作的跨会议网络。 会议链接呈树状结构,工作内容形成嵌套有向无环图;时间演变涉及任务分工、团队构成与连续性。 累积议程、交互与语言形成的协作签名,识别留出会议性能超随机猜测 4.5 倍。
部分提示完成测试在基准污染检测中表现不可靠,假阳性率受剩余文本长度影响显著。Qwen2.5-7B-Instruct 在剩余词数≤8时标记率31.5%,≥25时仅5.5%。在AIME 2026真阴性集上,80%前缀下精确匹配仍产生8.6%误报。
引入 CoRA-Bench 基准,用于评估共享 Token 预算下上下文选择器的证据保留能力。 对比头尾截断、BM25、密集检索等方法在 BABILong 等四个数据集上的表现,揭示任务依赖的权衡:BM25 在 BABILong 128K 下支持事实召回率达 0.921,密集检索在 LongMemEval 64K 下答案保留轮次召回率达 0.993。
为评估 AI 生成深度研究报告的质量,研究人员提出首个专用基准 DeepResearch RewardBench。该基准通过多轮过滤和人工验证,构建了包含对、三元组及四元组的偏好数据集。 实验显示,当前奖励模型在研究报告评估上表现下降,生成式 LLM 作为裁判更具优势。该基准预计将成为评估和提升研究智能体的重要测试平台。
SPRING-5 基准测试通过 20 个工具家族和 344 个任务,以调用成本而非任务准确率评估 LLM 智能体工具文档修复方法。 测试显示 schema-only 方法仅填补 1% 成本差距,而一次批量重写可达 33%,给出正确性标签的变体达 58%。 代码与数据已开源。
Video LLMs 计数失败源于读取故障而非对象恒存缺失,线性探针窗口解码达93%,但全局解码失效。 两种读取修复策略将同物体计数准确率从46.7%提升至65.0%(Oracle 66.7%),覆盖7B-30B系统。 REALCOUNT 独立视频审计显示该边界持续存在,最佳准确率55.6%(随机基线33.3%)。
准实验研究显示,8 周 ChatGPT 辅助练习显著提升伊朗学习者英语口语成绩,实验组平均提升 2.90 分,对照组仅提升 0.75 分,效应量 d = 1.20。 多水平增长模型确认组别与时间存在显著交互,整合性动机部分中介了能力提升,女性组改进幅度最大。 该结果表明结构化 AI 练习在资源有限环境下可有效支持口语教学。
研究发现视觉语言模型(VLM)中的模态鸿沟源于文本与视觉 Token 在嵌入层的语义密度差异。 具体表现为文本 Token 的语义密度显著低于视觉 Token,导致模型早期层需优先处理文本表征。 研究者证实,用语义最接近的文本 Token 替换视觉 Token 位置,可提升早期层对原视觉位置的注意力。 该机制分析为弥合模态鸿沟及改进多模态推理架构提供了坚实基础。
HiVe-Mem 多模态记忆框架通过交错执行水平记忆扩展与垂直证据组合,在多模态记忆基准上提升任务性能。 该框架利用关系图扩展语义检索种子,并通过轻量选择器独立组合每条记忆的多种证据形式,如摘要、原始图像等。 相较于最高效的竞争基线,该框架在保持性能提升的同时,将 token 消耗降低了约 90%。
研究发现语言模型微调中的“人格泛化”现象存在可预测的“on-the-line”规律。 领域内与领域外行为率在多种微调超参数下呈近似 probit 线性关系,且该关系在 Qwen 和 Llama 等不同模型族及规模间共享。学习率、权重衰减等参数主要削弱领域内学习,而改变微调层级可调整斜率;仅微调后层能显著降低领域外非对齐行为,为预测和控制行为迁移提供了定量框架。
研究者提出 WorkflowArena 基准,包含 8 个专业领域的 145 项长程任务,用于评估多智能体系统自主编排可执行工作流的能力。 实验测试 9 个模型发现:高负载下 Claude Code 较少调用工作流但工作组更大,Codex 则更频繁委派小单位;固定执行模型后,Claude Opus 5.5 编写的工作流显著提升弱模型表现。