HumanSightBench:评测多模态大模型人类视觉感知能力的基准
多模态大模型在复杂推理上表现强劲,但难以解决人类轻松处理的视觉问题。HumanSightBench 旨在评估这一差距,包含2876个短答视觉问题,涵盖7个顶级感知类别和21个子类别。
多模态大模型在复杂推理上表现强劲,但难以解决人类轻松处理的视觉问题。HumanSightBench 旨在评估这一差距,包含2876个短答视觉问题,涵盖7个顶级感知类别和21个子类别。
提出 Agent4Crypto 多智能体系统,通过双反思机制与市场反馈对齐提升加密货币交易表现。 系统采用 PPO 门控策略动态调整激进、中立、保守三个交易智能体权重,并在 BTC、ETH 和 XRP 上验证了其相较于传统策略及基线模型在总收益和夏普比率上的优势。
研究展示了混合注意力模型的 KV Cache 转换技术,避免重新阅读历史。在 Kimi-VL-A3B 与 Kimi-Linear-48B 等 16-48B 模型对中,线性映射使 MLA 隐向量转换达到原生质量,首次 token 时间缩短 18.7-46.8 倍。 长程召回从 0.09 提升至 0.99,GDN 混合双向可达原生水平,为 300B+ 旗舰模型提出假设路径。
提出Speculative Self-Distillation (SSD)方法,通过混合策略自蒸馏显著降低训练成本。 SSD 在三个闭卷问答基准上比全策略蒸馏减少 38-69% 的监督 token,同时在遗忘测试中保留最优通用能力。 该方法建立了自蒸馏新的精度-效率-遗忘 Pareto 前沿。
CHO-Bench 引入 119 万次成对评测,证实 LLM 广告中上下文提示词能改善广告排名。 该基准涵盖 5 个数据集,采用嵌入模型与 LLM 两种排名器,发现不同生成策略在特定配置下表现差异显著。 研究确立了离线广告侧排名优化基准,并指出模型特异性提示词选择及预算感知生成存在优化空间。
在包含8个论点的人群模拟中,未干预的基线立场漂移占表观 campaign 效应的相当比例。移除漂移后,LLM 观点变化方向与证据强弱更一致而非 campaign 角色,且无干预时立场多样性也持续减少。两社区网络中 campaign 主要减少社区间差异;LLM 常不为其分配立场辩护,且博弈无纯策略均衡。
研究提出“创意引导”方法,通过训练引导模型生成提示词特定的 primer,辅助响应模型创意生成,从而解耦创意过程与响应生成。 引导模型通过 GRPO 进行训练,奖励生成新颖、高质量且多样化响应的 primer,强化产生创意响应的过程而不强化具体响应本身。
这篇 arXiv 论文提出了“naive LLMs”,即通过训练剥夺或有意遗忘来让 LLM 对特定主题保持无知,使其摆脱既有偏见,从而产生更新的点子。 测试了 1B 和 7B 规模的 naive 模型,其生成的种子创意在新颖性和实用性上始终优于基线模型;再由更强的 mentor 模型进行精炼,效果进一步提升。
ODSA(Orchestrated Discovery and Self-Aggregation)是一种 LLM 驱动的测试时扩展框架,由编排器 LLM 指挥无状态工作节点执行发现、比较和接受动作。
研究者构建了包含 1.48 亿音频样本的 LAION-Audio-XL 数据集,并基于 NaFlex 架构训练了 CLAP2 模型。 CLAP2 在 MAEB 和 HEAR 基准测试上超越了同规模的以往音频-文本模型,团队已公开数据集、模型权重及代码。
一项结合 LLM 与基于代理建模(ABM)的确定性框架提出,旨在解决历史社会模拟中因 LLM 随机性导致无法精确复现的问题。 该框架在 temperature 0 环境下运行,通过 SHA-256 哈希验证工件身份。
研究发现,2022年11月30日对话式大语言模型公开可用后,工程类文章摘要中31个与模型输出相关的词汇频率比趋势预测高出82%。2025年每10,000词中出现55.4次,而2023年前趋势为27.0次;声明AI辅助写作比例从0升至3.7%。 该变化覆盖14个工程主题类别,在12,866篇全文随机样本中,正文中这些词汇频率上升99%。研究强调这是描述性发现而非因果结论。
研究指出模型内部越狱检测器的实际安全价值取决于低误报率操作点行为,而非仅依赖 AUROC 指标。在 4 类检测器、4 个 LLM 和 12 类越狱攻击评估中,仅在精选良性提示上校准阈值常无法在真实用户流量中维持误报率预算。
Lightfoot 图 RAG 系统通过确定性映射实现文档删除仅需数据库操作,无需模型调用。在 MuSiQue 等数据集上,其索引成本比 HippoRAG 2 低 26-31%,且删除 10% 文档后图谱与重建索引一致。 HippoRAG 2 删除相同文档需 2,187 次模型调用,Lightfoot 则实现零模型调用删除,显著降低部署维护成本。
DM-Call 结合本地架构验证与决策模型校验,在 BFCL 和 API-Bank 测试中提升了函数调用准确性。 该框架通过累积验证概率、二元判断及架构错误,结合数值概率与口语化标签指导迭代优化,无需执行外部工具。
CAELUM 框架通过分离随机性与认知不确定性,为 LLM 生成构建语义预测集。在 30 个 LLM 与数据集组合(4-32B 参数)的 78 次评估中,学习分层下的平均覆盖率为 0.74,优于整体平均的 0.65。该框架已在 NeurIPS 2026 会议接受。
视觉语言模型在视觉虚假信念测试中性能骤降,研究指出瓶颈在于感知而非推理。 通过五条件分离协议评估7个VLM,感知贡献比率量化视觉-文本差距;60%的虚假信念失败源于现实偏差,模型报告物体实际位置而非代理信念位置。 该论文被NeurIPS 2026接收,证实结构化视觉场景状态提取是视觉心理理论的主要障碍。
激活探针在监测 LLM 智能体共谋时主要检测指令而非决策,2,500 个委员会和 1,476 个代码审查回合的基准测试显示,现有检测器难以区分接受与拒绝共谋指令的智能体。 移除共谋指令后,最佳探针的 AUROC 从 1.00 降至 0.61;投票后评估和 57% 的公开论证缺失进一步夸大了监测结果。 该研究提出了控制协议和在线监测方法,用于评估任意共谋监测器。
研究发现LLM掌握时间规则但缺乏时间体验,在基于时间理论的问题集上准确率达92.0%-97.5%。模型低估自身任务完成时间最多达99.5%,且对等待时间的敏感度缺失,曾忽略1200倍的等待时长增加。该研究揭示了LLM在无法直接感知的时间维度上的认知盲区。
基于 45,426 场会议及 160 万议程项构建包含 6,065 项协作的跨会议网络。 会议链接呈树状结构,工作内容形成嵌套有向无环图;时间演变涉及任务分工、团队构成与连续性。 累积议程、交互与语言形成的协作签名,识别留出会议性能超随机猜测 4.5 倍。
部分提示完成测试在基准污染检测中表现不可靠,假阳性率受剩余文本长度影响显著。Qwen2.5-7B-Instruct 在剩余词数≤8时标记率31.5%,≥25时仅5.5%。在AIME 2026真阴性集上,80%前缀下精确匹配仍产生8.6%误报。
引入 CoRA-Bench 基准,用于评估共享 Token 预算下上下文选择器的证据保留能力。 对比头尾截断、BM25、密集检索等方法在 BABILong 等四个数据集上的表现,揭示任务依赖的权衡:BM25 在 BABILong 128K 下支持事实召回率达 0.921,密集检索在 LongMemEval 64K 下答案保留轮次召回率达 0.993。
为评估 AI 生成深度研究报告的质量,研究人员提出首个专用基准 DeepResearch RewardBench。该基准通过多轮过滤和人工验证,构建了包含对、三元组及四元组的偏好数据集。 实验显示,当前奖励模型在研究报告评估上表现下降,生成式 LLM 作为裁判更具优势。该基准预计将成为评估和提升研究智能体的重要测试平台。
SPRING-5 基准测试通过 20 个工具家族和 344 个任务,以调用成本而非任务准确率评估 LLM 智能体工具文档修复方法。 测试显示 schema-only 方法仅填补 1% 成本差距,而一次批量重写可达 33%,给出正确性标签的变体达 58%。 代码与数据已开源。
Video LLMs 计数失败源于读取故障而非对象恒存缺失,线性探针窗口解码达93%,但全局解码失效。 两种读取修复策略将同物体计数准确率从46.7%提升至65.0%(Oracle 66.7%),覆盖7B-30B系统。 REALCOUNT 独立视频审计显示该边界持续存在,最佳准确率55.6%(随机基线33.3%)。
准实验研究显示,8 周 ChatGPT 辅助练习显著提升伊朗学习者英语口语成绩,实验组平均提升 2.90 分,对照组仅提升 0.75 分,效应量 d = 1.20。 多水平增长模型确认组别与时间存在显著交互,整合性动机部分中介了能力提升,女性组改进幅度最大。 该结果表明结构化 AI 练习在资源有限环境下可有效支持口语教学。
研究发现视觉语言模型(VLM)中的模态鸿沟源于文本与视觉 Token 在嵌入层的语义密度差异。 具体表现为文本 Token 的语义密度显著低于视觉 Token,导致模型早期层需优先处理文本表征。 研究者证实,用语义最接近的文本 Token 替换视觉 Token 位置,可提升早期层对原视觉位置的注意力。 该机制分析为弥合模态鸿沟及改进多模态推理架构提供了坚实基础。
HiVe-Mem 多模态记忆框架通过交错执行水平记忆扩展与垂直证据组合,在多模态记忆基准上提升任务性能。 该框架利用关系图扩展语义检索种子,并通过轻量选择器独立组合每条记忆的多种证据形式,如摘要、原始图像等。 相较于最高效的竞争基线,该框架在保持性能提升的同时,将 token 消耗降低了约 90%。
研究发现语言模型微调中的“人格泛化”现象存在可预测的“on-the-line”规律。 领域内与领域外行为率在多种微调超参数下呈近似 probit 线性关系,且该关系在 Qwen 和 Llama 等不同模型族及规模间共享。学习率、权重衰减等参数主要削弱领域内学习,而改变微调层级可调整斜率;仅微调后层能显著降低领域外非对齐行为,为预测和控制行为迁移提供了定量框架。
研究者提出 WorkflowArena 基准,包含 8 个专业领域的 145 项长程任务,用于评估多智能体系统自主编排可执行工作流的能力。 实验测试 9 个模型发现:高负载下 Claude Code 较少调用工作流但工作组更大,Codex 则更频繁委派小单位;固定执行模型后,Claude Opus 5.5 编写的工作流显著提升弱模型表现。
研究者向 10 篇开放获取心理学期刊论文植入 100 个已知错误,测试前沿模型及商业 AI 审稿工具的效果。 最佳单一系统识别出 71 个错误,最差仅 30 个;整合所有系统输出可捕捉 93 个,其中 7 个全系统漏检的错误均为删减遗漏。 该公开基准数据集及实验日志可供跨学科评估使用,但尚未衡量误报率或与真实论文错误分布的对比。
PORT 提出一种 token 级鲁棒偏好优化框架,解决偏好数据噪声对齐问题。 通过 token 对数概率的经验累积分布函数进行重加权,仅前向传播即可抑制损坏 token。
研究提出 NarrativeBench,包含 23 种语言、460 个查询及 1,333 篇新闻,定义 6 项核心能力。 评估 14 个 LLM 发现,模型缺乏导航多元叙事能力,导致不同语言间信息获取差异显著,加剧“信息对等”缺失。 NeurIPS 2026 录用该工作,其基准为开发跨语言信息系统及提升用户信息获取自主权提供基础。
DeidSharp 是开源 .NET 工具包,在本地运行 26B MoE LLM 叠加 NER,用于临床文本去标识化。 其在 PhysioNet 护理记录中召回率达 98.9%,较 Stanford/Penn 高 2.8 个百分点;在 MIMIC-IV 出院小结中领先 20 分以上。 该方案支持本地部署,避免文本传输至外部服务器。
研究利用QLoRA微调Llama-3.2-3B、Qwen2.5-3B和Gemma-2-2B三个2-3B基座模型处理罗马化尼泊尔语。 微调后chrF++指标从10-14提升至29.0-30.6,BPB从2.23-2.41降至0.78-0.84。Llama-3.2-3B的BPB最低,但chrF++与Qwen2.5-3B无显著差异;分词器生育度低不代表生成质量最优。
新提出的短语级投机解码方法,通过冻结目标模型的隐藏状态预测1-3词短语作为草稿词表条目,在Qwen3-4B上保持输出与贪心解码一致。
研究者提出SPACE基准框架,结合受控协议与互补数据集,以区分LLM输出中的人格倾向、能力与指令影响。 实验结果表明,尽管提示词能改变生成风格,但模型内部的人格倾向具有持久性,难以被相反指令覆盖,且对LLM任务表现有可观察的影响。 该研究强调了关注大模型人格特征及其潜在应用的必要性,训练代码与基准规范已开源。
MIRIX-2.0是一个多智能体记忆系统,在五个QA基准中取得四项最高准确率,LoCoMo得分91.4%,LongMemEval-S得分72.6%。该系统由六种类型化记忆代理维护完整记录,通过AutoDream在写入路径外合并重复锚点,并能在禁用AutoDream时比HyperMem在所有五个计时基准上回答更快,且无需微调即可兼容闭源和开源模型。
研究人员提出 SMO 框架,将自然语言技能分解为可复用的程序化模块。 在 SkillsBench v1.1 实验中,该框架将 232 项技能表示从 366,472 压缩至 149,154 tokens,实现 59.3 倍缩减。 平均任务分数由 0.6379 提升至 0.7478,运行时 token 消耗降低 38.38%。
EmoHarness 框架在 5,507 项 MME-Emotion 测试中,将小型多模态模型的识别准确率提升 7.6-13.4 分。 该框架利用转录文本和韵律描述作为可引用证据,通过元框架演化(MHE)机制,由 Builder LLM 离线优化提示词与验证代码。 转录和韵律贡献了主要提升幅度(+5.38 至 +10.71),而框架演化带来的增量在统计校正后不显著。