语言模型的形式与功能评估:基于儿童语言习得指标
研究引入儿童语言习得定量指标,评估语言模型在英语限定词句法与语篇功能上的表现。 提出 Contextual Alternative Choice (CAC) 提示方法,使模型能与统计基准直接对比。 当前无模型能像儿童同时满足形式与功能基准,但部分超大模型表现接近。
研究引入儿童语言习得定量指标,评估语言模型在英语限定词句法与语篇功能上的表现。 提出 Contextual Alternative Choice (CAC) 提示方法,使模型能与统计基准直接对比。 当前无模型能像儿童同时满足形式与功能基准,但部分超大模型表现接近。
MATO 提出无需训练的 LLM 多目标个性化对齐框架,通过动态调整解码权重提升控制性。该方法不修改参数,使用提示词奖励和权重优化,在多数据集上超过基线并实现帕累托改进。为可扩展、模型无关的个性化对齐提供可行路径。
Scratchpad Patching (SP) 将计算量与补丁大小解耦,提升字节级模型效率。 SP 通过 next-byte 预测熵触发临时 scratchpads,在 $16$ bytes/patch 时使 KV-cache 缩小 $16\times$,推理计算量减少 $3$-$4\times$。 方法在自然语言和代码基准上使 $16$-byte 补丁模型接近字节级基线质量。
CoBit 是一种连续扩散语言模型,通过联合去噪固定宽度二元令牌代码生成文本,将代码比特分组为单个 Transformer 补丁以保留序列长度。CoBit-S(130M 参数)在 LM1B 和 OpenWebText 上的生成困惑度分别为 59.76 和 27.06;扩展到 462M 参数后,OpenWebText 困惑度降至 19.48。
Adamas 提出一种结合 Hadamard 变换、分桶及 2-bit 压缩的 token 级稀疏注意力机制,用于高效长上下文推理。 该机制通过轻量级距离估计筛选 top-k 候选,在 Llama-3.1-8B-Instruct 有效上下文内保持近无损性能,32K 长度下实现 6.5 倍自注意力加速。 AIME 2024/2025 等长程推理基准测试中,其表现与完整注意力机制相当。
提出 BitDecoding-FP4,实现原生 FP4 KV Cache 解码,Qwen3-4B 等模型在 B300 上吞吐量提升 2.4-3.0 倍。 通过双残差量化、概率缩放及异常值感知量化降低误差,精度保持在 BF16 的 0.5 点以内,支持 Qwen3 等模型及 NVFP4 格式。 代码已开源,适用于稠密与 MoE 模型的长上下文 LLM 服务场景。
测试显示 Laya 模型在选项顺序变化下改变答案的比例高达 25.8%,其中低置信度区间翻转率显著更高。 针对 951 道验证过的题目进行多种排列测试,发现调整选项顺序可显著影响结果。使用 2,818 行数据微调后,翻转率降至 7.2%,其中打乱顺序策略贡献了 4.2 个百分点的改进。
RidgeFill 通过免训练的岭回归预测晚期层输入,在不修改模型权重的情况下加速 LLM Prefill 阶段。 在 Qwen3.8-Flash-Next 上,该方法使 9K-32K token 下的首 token 延迟降低 1.50 至 1.60 倍;RULER 评测得分由 100.0 降至 99.8,陌生 token 困惑度增加 2.65%。
论文提出数据为中心的图中间表示 RPEG,用于联合优化推理语言模型(RLM)训练流水线的结构与执行。 RPEG 暴露有界异步、actor-critic 共享等结构选择,并结合阶段融合、细粒度调度和多维模型并行优化,配套分析性能模型。在最多 256 块 GH200 GPU 上,其分布式运行时较 ReaL 提速最高 2 倍、较 verl 降低步延迟最高 2.48 倍,硬件利用率提升最高 30%。
PathXAI 结合组织分割信息与 H&E 图像生成结构化病理报告,其分割组件在内部和外部测试中 Dice 均值超越基线模型。 在 1,200 个公开和 151 个私有病例评估中,PathXAI 与参考诊断的吻合度高于 H&E 对照组,其中 PathXAI-Report 比 Qwen + H&E 的癌症家族匹配率高 4.4 个百分点,发现 F1 值高 5.7 个百分点。
研究通过区分感知与计数复杂度,揭示多模态LLM在图示任务中失败的根源。针对Gemini等模型,思维链模式下错误率主要受答案数值量级驱动(每十进制数下降2.38倍)。提供代码与转录后,10x10网格计数正确,但单次阅读易漏横向边;结合旋转副本二次读取,大网格精确识别率达86/96。
研究提出 PHANTOM-Bench 基准,用于测量多智能体 LLM 系统中“幻影共识”现象,即公开决策受模糊社交信号影响而偏离私有判断。 在涵盖九种模型测试中,模糊公开信号导致决策准确率最高下降 47.8 个百分点,集体理性失败率最高达 47.3%。 该研究被 NeurIPS 2026 SocialAgent Workshop 接收,指出评估多智能体系统需区分真实共识与表面共识。
ResQAdam 提出残差保持自适应优化,将 QAT 优化器状态内存降低 71% 至 74%,训练吞吐量损失低于 2%。 该方法保留单 BF16 动量,对主子空间应用 Adam,并对残差执行归一化符号更新。 ResQAdam 支持 2 位权重量化,在多种 QAT 方法中表现接近 AdamW。
提出首个基于目标隐藏状态条件的流匹配推测解码范式 ChainFlow,只需 1-2 步传输即可生成草案。 在 Qwen3.5 模型上,同规格下 ChainFlow 比 EAGLE-3 和 DFlash 快 39% 和 11%,代码与模型已开源。
LambdaMix 通过联合训练低秩适配器,利用组相对在线强化学习实现偏好条件化策略族的学习。该方法仅需一次训练运行即可支持推理时动态调整偏好,无需进一步优化。
研究提出RuACT框架,将非活跃评分标准转化为自适应教师或批评者,解决RL中评分标准失效问题。 在Qwen3-4B医疗训练中,非活跃观测占比60.88%;引入框架后,不可达评分标准的无引导恢复率从35.02%提升至42.86%。 代码已开源,该框架在医疗与科学基准测试中全面超越GRPO等基线方法。
研究提出 QGPM,这是一种无需训练的方法,利用模型自身注意力头的查询相关性重塑 RoPE 位置,以缓解长上下文中的“中间迷失”现象。 QGPM 在低层构建广泛相关性图,高层构建尖锐图;低相关性令牌在快速旋转平面上推进不足一个位置,将相关证据拉向查询,而慢速旋转平面保持原布局。
论文提出 APEX 框架,通过两阶段检索实现无需微调的口语理解(SLU)。该框架先利用意图原型筛选候选意图,再在选定意图空间内检索上下文示例。 在 SLURP 数据集上,APEX 使 Qwen3 4B 和 Gemma-3-4B 的 EMA 分别提升 4.34 和 3.97 个百分点;高困惑度输入下 EMA 增益为 7.66 和 2.13 个百分点。
MARS 是一个基于强化学习的多语言搜索智能体,通过直接操作原始语料库实现无检索器的证据获取,并引入语料库原生实体锚定技术。 模型设计了冗余感知的搜索奖励,旨在生成简洁高效的搜索轨迹,避免多语言场景下强化学习的训练坍塌。 实验表明 MARS 在多语言泛化性上优于基线模型,并显著减少了冗余的语料库交互。
一项针对 60 组盲评的研究表明,推理增强并未普遍提升大语言模型的心理学深度。人类评估显示 DeepSeek-R1 落后于 DeepSeek-V3(42.9%),而 GPT-5 仅微弱优于 GPT-4o(60.0% 至 62.9%)。LLM 评审则表现出强烈的推理偏向,在 98.3% 的配对中支持推理模型。
研究证明无训练控制器 ELIDE 可在 670 个公开提示中安全省略生成文本。 在三个模型族上,ELIDE 优于匹配长度的截断,且仅当 NLI 模型判定被省略片段已由已展示文本蕴含时才扣留内容。 在两个新测试中,将许可范围限制在语篇单元可将有害省略比例降至约十分之一。
递归自训练使英语 GPT-2 词汇量减少但常用虚词主导性降低。在 9 代训练中,随着采样温度升高,最小熵、碰撞熵、Shannon 熵和观察丰富度依次发生从损耗到增益的交叉。第 9 代词汇类型减少 24%,但碰撞熵高出 0.91 bits。研究建议在固定预算下报告熵轮廓及独立质量指标。
Task Router 发布任务路由功能,用户可通过 task alias 将请求路由至符合其优先级(最便宜、平衡或最准确)的模型。评测采用固定数据集和任务专用评分标准,由 LLM 裁判打分,并结合最新定价数据展示估算成本。
研究人员提出训练调查智能体与受试模型输出显式理论,旨在建立跨模型族的通用监督机制。 该方案通过将理论视为信念空间中的工作假设,解决现有黑盒方法需针对每个新模型重复适配的不可行性。 目标是验证源自特定模型族的理论能否更高效地预测或调查新模型行为,实现更灵活的低计算开销监督。
J-lens 中间变量替换部分通过答案方向起作用,而非完全经由中间概念。 在 8 个开源模型及 1,526 个双跳提示词测试中,答案平面分量单独复现了 26% 的成功翻转,而正交分量仅占 12%。 这表明该干预存在直接重叠效应,但 65% 的提示词中单独应用任一成分均未成功。
图灵奖得主 Richard Sutton 在 X 上表示,单纯算力堆叠不足以成就智能,AI 科学需要更巧妙的、可以随算力增长的新学习方法,整个领域离终点还远。他进一步批评把合成数据当作主要训练燃料是“大错”,认为真实世界远比任何模拟复杂,当前 LLM 在训练结束后停止学习,需要的是能持续从自身经验中积累、且不遗忘旧知识的、具备世界模型的智能体。
作者将公开 AI 网络攻击基准分为解题、入侵应用、复现已知漏洞、构造利用代码四个由易到难的层级,并展示了前沿模型在每层分数快速攀升的轨迹。
推荐理由:作者梳理了四类公开网络攻击基准的分数跃升,展示了前沿模型在数月内从解题到完整利用漏洞的能力进展。
用户认为当前 AI 需求主要源于低价,若成本翻倍则不会使用。 AI 公司难以盈利,因竞争导致推理毛利率低。
研究者复现权重空间编程实验,GPT 6 Astra 正确率 4/4,Deepseek-V4.1-Flash 为 3/4。 分层测试显示 Flash 依赖通道标签与提示元数据,移除标签后性能大幅下降;Astra 不受影响,且仅用首层或随机 1000 个权重值即可保持高准确率。 Astra 初步存活分层测试,表明其具备直接读取模型权重的能力,未观察到 Flash 类似的表现。
MIT CSAIL 提出 Weight-Space Programming,让 GPT-6 Astra 修改 Qwen3.5-0.8B 约 0.016% 权重,宣称将 MATH-500 成绩从 7.9% 提至 48.1%。无涯智远团队用超网络工具开展对照实验,发现关闭思考模式即可获得 48.95% 相近表现,且 Astra 在知识、风格与技能任务上无法稳定内化新信息。
推荐理由:文章用对照实验拆解了权重编辑在知识、风格和技能内化上的局限,读者可据此判断其能否替代专门训练的超网络作为模型持续学习的手段。
英伟达、纽约大学等机构的研究团队提出TacitVLA,这是一种新的视觉-语言-动作(VLA)模型设计。它在保留了“学习写推理”带来的训练收益和记忆功能的同时,去掉了部署时读取当前步骤推理文本的环节。实验表明,TacitVLA在成功率上与显式推理模型相当,且输出动作的延迟最多降低了3.4倍,显著提升了响应速度。
北京大学PKU-DAIR团队提出MapFlow,通过复用注意力图实现跨模型KV状态共享。该方法将prefill延迟降低15%–20%,多轮对话场景下吞吐量提升25%。代码已开源,系统已集成至vLLM,支持Qwen3和Ministral3模型家族。
MIRASTACK 主张 LLM 推理应按 GPU 小时而非 token 计费,通过售卖固定时长的计算资源实现无限 token 使用。 公司提供针对个人、团队及企业的全托管或本地化 AI 工厂方案,使用自研网关并基于 GPU 集群运行开源模型。 旨在消除按量计费的成本不确定性,使企业无需为频繁调用模型限制开发节奏。
芝加哥大学教授 Frank Calegari 指出,随着 AI 降低数学研究门槛,招聘需更依赖面对面交流以区分具备清晰研究愿景与表达能力的候选人。 他批评仅审查书面材料的“懒惰评审委员会”,因 AI 可生成成果,主张 30 分钟直接交流能有效识别低质量批量制作者。康奈尔大学教授 Steven Strogatz 也认为具备个人魅力的数学家更受重视,OpenAI 正推出数百项复杂难题解决方案。
双 RTX 5070 Ti 实测 15 个 Qwen3.8 27B 变体,无一整体超越基模,Tess-4.5 以 61.4 分(基模 63.3 分)居次。 基模 3-bit 仅 120K 上下文,32 GB 显存支持 6-bit 满 262K 窗口;Tess-4.5 每 bug 生成 14K tokens,较基模少 40%。
该HN链接引向一篇纽约时报文章,标题称AI推翻了指数时间假设(Exponential time hypothesis)。
Transformer 架构导致 AI 模型滥用破折号,源于三重机制:训练数据偏好编辑部风格文本、自回归生成时的语法兜底作用,以及 RLHF 奖励机制强化戏剧性表达。 自回归模型无法预知句尾,破折号成为最安全的语法“胶带”;人类评估员将这种风格误判为高置信度,促使奖励模型放大该特征。
Vals AI 研究人员分析 Thinking Machines 旗下 Inkling 2 Small 的 2,655 次运行日志,发现 50 次运行中共出现 316 次粗口,其中 241 次源于 2 次失控运行。 该模型常在犯错或放弃时爆发粗口,甚至产生 50 万字符的重复响应;但粗口并非失败预警,96% 的失败运行中未出现此类词汇。
生成式漂移指 AI 重复输出导致结果不断偏离,构成系统可靠性挑战。 该现象源于 AI 将前一阶段的微小错误当作事实输入,导致决策链路逐步失准。
METR研究员在Anthropic内部三个月的评估显示,2025年10月至2026年10月间,Anthropic模型能力以比前一阶段快2倍的速度增长,其中约80%归功于AI。尽管METR报告大部分被Anthropic删减导致外界难以直接评估,但作者Karthik Tadepalli利用公开数据交叉验证,认为这种加速是真实的,且大概率由AI驱动。