OpenConjecture 数据集:评估前沿 GPT 模型在随机数学猜想上的表现
研究人员提出 OpenConjecture 数据集,基于 2026 年 2 月以来的 arXiv 论文收集数学猜想,并使用前沿 GPT 模型对随机抽样的 200 条猜想进行三轮评估。模型为约 60% 的猜想生成了候选解,其中反例数量约为证明的 1.3 倍。研究分析显示部分解法依赖现有结果或存在意图偏差,凸显了评估忠实度与文献引用的必要性。
研究人员提出 OpenConjecture 数据集,基于 2026 年 2 月以来的 arXiv 论文收集数学猜想,并使用前沿 GPT 模型对随机抽样的 200 条猜想进行三轮评估。模型为约 60% 的猜想生成了候选解,其中反例数量约为证明的 1.3 倍。研究分析显示部分解法依赖现有结果或存在意图偏差,凸显了评估忠实度与文献引用的必要性。
针对GRPO优势估计问题,研究者提出两阶段估计器TACE,实现多模态RLVR中的分布奖励校准与预算中性信用分配。 第一阶段将样本级基线替换为一维最优传输映射至标准正态,确公共人群奖励分布并限制异常值;第二阶段在轨迹内秩校准停止梯度证据对比,并将截断的token权重重归一化为均值1,保证信用总量与符号守恒。 在多模态推理基准套件中,TACE在多数基准上取得最强结果,但未在所有设置中占据主导地位。
RACE 提出一种奖励自适应协同进化框架,通过信号路由和事件触发机制优化策略与评分标准。 该框架在组级区分有效信号,在阶段级基于奖励饱和切换优化模式。统一评估显示其平均性能优于最强固定交替基线。
提出球体神经网络(SphNNs),通过非零半径球体嵌入实现无需训练数据的符号级亚里士多德三段论推理。 该架构放松了传统神经网络向量零半径约束,将概念表示为非零半径球体,捕捉生物认知的空间特征。 作者认为零半径约束限制了传统神经网络在可靠符号逻辑推理方面的能力。
论文提出通过 System-1 轻量预测器筛选交互,仅让 System-2 执行有价值任务,从而提升迈向 AGI 的效率。 该方法构建预测-门控-执行-更新闭环,在理想筛选下执行算力可降至 1/ρ_u,且通过界定选择遗憾优化计算资源利用。 该研究论证“信息量算力”比总算力更能描述 scaling 效率,为 AGI 研究提供新的效率坐标。
LinguaArray 提出 LLM 引导 SMT 求解框架,LLM 提出语义焦点集,SMT 求解器负责验证并作为唯一证明引擎,解决后端单独无法处理的更多实例。 在 1015 个 SMT-LIB 实例、五种逻辑、1200 秒超时(含 LLM 延迟)下,LinguaArray 最高解决 69.1% 的实例,解决数量较对应后端提升 105%–397%。
研究人员将柏拉图表示假设转化为定理,证明 JEPAs 在多模态学习中能收敛至同一旋转不变表示。 理论验证显示,基于好视图的 JEPAs 比下一词预测节省 42 倍训练样本,且 109M 参数文本模型对齐效果优于 72B 语言模型。 该成果揭示了正视图而非单纯规模是构建通用表示的关键,并展示了 64% ImageNet-100 准确率的无配对应用潜力。
论文提出保守物理结构 AI 记忆上的测试时计算理论框架,获 NeurIPS 2026 接收。 基于阻尼辛步骤的隐动态模型,通过洛伦兹挤压和有门控规范变换解析可达性失败,并验证了证书堆栈的准确性。 主要贡献是该证书堆栈的形式化与验证,而非基准测试性能。
summary_zh: 研究人员开发了 TRAILS 框架,用于识别 LLM 在证据综合“读取-评估”任务中 38 种潜在失效机制。 该框架旨在解决重复运行产生不同判断(不稳定)及判断看似正确但过程存在隐藏缺陷(可靠性低)的问题,并提供了相应的测试方法与缓解策略。
研究发现人类在 Autoresearch Agent 的理念生成阶段仍起关键作用,但当前 Agent 缺乏对齐能力,无法有效定位 hack 问题。 研究提出 HackBench 基准,并采用人类模拟器作为代理进行强化学习(RL)训练,同时利用对齐人类专家的评分标准改进文本生成。 这些方法为构建更强大且对齐的协作研究 Agent 提供了可行路径。
RAL 方法利用共训练的 LLM 裁判,将参考答案转化为唯一奖励信号,用于推理型 LLM 的后训练。 在整数乘法等可验证任务中,RAL 的效果与直接 RLVR 相当;在 NIH 基金摘要生成中,人类科学家和 LLM 裁判难以区分其生成结果与真实摘要。 该方法为科学等高价值领域的模型后训练提供新路径。
该论文提出Deogen,一个可扩展、自动化的政策义务推理(deontic reasoning)基准生成器。通过将政策规则自动形式化为一阶逻辑并构建决策树,Deogen能组合式地生成基准条目。 评估显示,前沿模型在信息充分时的正确率为89-92%;但在信息不足需拒答的条目上,即使有明确指示,正确率也降至22-40%。
针对大语言模型在多位数算术中的表现,该研究在包含16,991道题目的数据集上测试了多个小型基础LLM的乘法能力,发现其错误模式不符合加法中的“噪声量化”模型。 在小规模 Qwen 模型中,低位数字错误主要保持奇偶性,而高位数字错误则转向偏差为一的进位失败。这表明 Transformer 模型通过多周期性内部表示进行算术计算,其中奇偶性比精确数字追踪更为稳健,为理解模型数值推理的机制提供了新见解。
研究团队提出 SelfMorph,通过输入依赖的推理时决策改变冻结 LLM 的内部计算拓扑,将前向路径、层重复和局部分支合并统一在由类型、位置、强度参数化的空间中。
CLIK 模型通过单次前向传播生成 LoRA 参数,将上下文知识直接内化至冻结基模型,无需任务级优化或推理时保留输入。 该方法在文档问答任务中显著优于无上下文基模型及现有超网络生成器,且可迁移至多轮对话。 分析表明上下文依赖部分集中于生成适配器的紧凑子结构中。
自动化评分标准生成管线 Rubricon 无需人工偏好标签即可生成判别性标准。 在五个基准测试中,其评分与专家标准的对齐度比最佳替代方法高 9%;使用 Rubricon 标准训练 Qwen3.5-9B 模型,性能优于使用 RRD 标准的训练效果 4.5%。
研究团队提出 GAAC 无损 KV 压缩系统,通过利用 BF16 指数冗余实现 1.405-1.407× 的压缩率,且在 64K 上下文长度下将 decode attention 速度提升 1.19-1.27 倍。
研究者提出 DecompGym 基准,包含 81 个实例,用于评估 12 款 GPT、Claude 和 Gemini 模型在编码智能体环境中设计 Benders 分解和列生成算法的能力。 评估要求求解器在 60 秒内运行且目标值误差小于 1%,结果发现反思机制可将重试成功率从 39% 提升至 66%,表明智能体需要过程检查与错误定位反馈。
研究证明将任务分解给确定性主机可消除模型规模差异,实现“构建即持平”,9 个模型在子任务上表现一致。 该结论基于 4.94 亿参数本地模型至 Opus 级前沿模型的对比,无需针对特定任务微调或额外训练。
CLadder 生成的数据集嵌入表面模式,导致随机森林等简单模型也能取得良好表现。 商用 LLM 在 CLadder 测试中表现极度脆弱,移除关键因果推理文本后性能几乎不受影响,结果主要归因于对训练数据中表面模式的利用。 任何关于 LLM 具备复杂因果推理能力的推断,都必须首先排除这一假设。
GARDEN 框架提出了一种通用自主奖励设计方法,通过 LLM 为相关场景族生成单一奖励程序,并在未见场景保持不变直接迁移使用。该方法在 Overcooked 和 SMAX 基准上使任务收益分别提升 58.2% 和 52.5%,并将两个战斗场景的平均胜率从 51.0% 提高至 89.9%。
HRF-Res 通过引入谐波谐振与发射(HRF)神经元取代 LIF 神经元,构建频率选择性脉冲储备池,在 10 个基准测试中达到脉冲储备池方法的 SOTA 精度。 该模型具有固有振荡动力学,能选择性响应输入频率,捕获特定时间模式的特征。 其能耗比等效非脉冲振荡储备池低 19 倍,保留了脉冲计算的高效性,论文已被 NeurIPS 2026 接收。
研究人员提出Seq@K评估协议,用于衡量模型在K次顺序尝试中利用反馈迭代解决问题的能力。 该协议在7个基准测试和16个前沿模型上验证,揭示模型排名常与Pass@K指标不同。 分析显示,反馈循环的设计对模型迭代精炼行为有显著影响,需纳入智能体系统评估体系。
LLM 在信息不足时依赖 unembedding 矩阵中的“方向性未知”作为一元先验。该现象在 0.4B 至 405B 参数的 Llama、Qwen、Gemma 和 Pythia 模型中普遍存在。
该研究将 LLM 视为有缺陷的评估者构建小组,提出衡量数据稀疏地区政治立场的方法,以解决现有工具在非西方政党体系的失效问题。 在包含 9 个模型(来自 2 个国家 8 个实验室)的小组中,Krippendorff's alpha 在区间和序数指标上分别为 0.86 和 0.87,且随着小组从 5 人增至 9 人保持稳定。
提出基于艺术强化训练(ART)的方法,通过优化单一辅助输入图像使冻结的多模态大语言模型(MLLM)适配特定任务,推理时仅需在提示词中包含该图像,无需修改服务引擎。
论文提出 Reward-Variance Policy Optimization (RVPO) 框架,通过惩罚奖励方差来解决无 Critic RLHF 方法中约束被忽略的问题,将优化目标从最大化总和转变为最大化一致性。
研究者测得循环 Transformer 的循环等价指数 $\varphi=0.46$,表明以共享循环替代独立模块会在匹配算力下增加验证损失。在 $r=4$ 时,410M 循环模型性能等同于 580M 非循环模型,但训练成本相当于 1B 模型。
ROM方法通过流式检测器监控大推理模型,在良好推理边界进行干预,无需答案提取。 检测器参数仅占骨干模型0.07%-0.25%,配合CSC技术保留有用自纠正,使响应长度平均减少45%,端到端延迟降低20%-70%。
NeuNeu 模型在 66 个下游任务中预测精度的平均绝对误差为 1.99%,较逻辑扩展定律降低 44%。 该模型基于 HuggingFace 开源检查点训练,能将准确率轨迹与 token 级验证损失结合进行预测。NeuNeu 可零样本泛化至未见过的模型家族、架构及参数规模。
SandwichR 通过 Answer-Reasoning-Answer 范式解决查询纠错延迟痛点,达到与标准 CoT 相当的 SOTA 准确率,同时降低 40-70% 延迟。 该方法采用一致性感知强化学习对齐初答与推理,并构建高质量数据集填补专项基准空白。 此方法在 CIKM 2026 发表,实现了在线搜索中延迟与准确率的平衡。
summary_zh: UBTree 提出了一种结合单字提议器与双字选择器的并行推测解码草稿生成器,旨在解决现有并行方法在高熵目标分布下多样性不足的问题。 该方法利用重归一化 KL 目标函数训练选择器,拓宽监督信号以增强树结构中的有效分支。
研究发现监督微调(SFT)会显著改变自然语言生成任务的置信度校准,在 216 种配置中 112 种降级、104 种改进。 校准变化受训练分布接近度等非质量因素影响,且无法从微调前模型预判方向,导致置信度识别正确答案的实用性大幅下降。 现有置信度指标在微调后无法直接可靠部署,突显了开发校准鲁棒不确定性量化方法的必要性。
研究提出 EOP 机制,在 GSM8K 数据集因果干预中,将回声重新插入失败推理痕迹可使两个推理模型的精确匹配度提升 7.9-10.4 分。 分析显示 EOP 并非源于冗余,而是通过增强中间层的注意力重聚焦机制提升准确性,并据此开发了 ED-SFT 训练方法及免训练 Echoic Prompting。
Jacobian Scopes提出基于梯度的Token级因果归因方法,利用扰动理论和信息几何量化输入Token对LLM预测分布及不确定性的影响。 在LAMBADA和IWSLT2017基准测试中,分布级Fisher和Temperature Scopes在12个模型-数据组合中的10个显著优于现有梯度归因方法,且已开源代码。
提出 LLM 辅助的两阶段在线对话欺诈检测框架,联合识别欺诈行为与概念漂移。 先以集成分类模型初筛可疑对话,再用单类漂移检测器 OCDD 分析漂移;有漂移时由 LLM 判断欺诈或正常话题转换,无漂移则推断为垃圾信息。 在社交工程聊天数据集上验证,提高实时欺诈检测准确率与可解释性,并对比双 LLM 基线。
该研究提出 FABLE 框架,通过批处理测试实例让 LLM 进行群体公平性推理,并利用投票机制缓解位置偏差。 实验基于三个数据集和三种 LLM 验证,结果证明引入人口统计信息和公平性约束能显著提升分类公平性。
研究构建了包含马来西亚合同法和澳大利亚《儿童保障法》情景的语料库,利用 ChatGPT 执行 IRAC 分析,以检验其法律推理能力。 该语料库中的情景均由法律专业人士按半结构化格式进行完整的 IRAC 标注,确保机器和法律界均可解读。 作为对 ChatGPT 进行 IRAC 分析的首次实证评估,其结果揭示了未来改进大语言模型与法律专家间推理对齐的潜在研究方向。
分析 Ramanujan Challenge 投稿,验证了 AI 模型在数论研究级问题上的相对成功率,并发现了一个未发表猜想的证明。该基准包含具体公式,其正确性可数值检查,但证明可能涉及非显而易见的数学。
研究指出当前预填充解码长度预测基准混淆了预测器质量与任务难度,当目标模型、数据集或采样配置改变时,预测器准确度会崩溃。分析将解码视为停止随机过程,推导出每提示词正态性误差项及仿射方差定律 $\sigma=\alpha\mu+b$。