基于功能标度律的最优批大小调度分析
功能标度律(FSL)揭示了最优批大小调度(BSS)结构依赖任务难度:易任务全程增批,难任务则后期切换大批。 该机制源于“快速追赶效应”,即小批切大批后梯度噪声快速遗忘,使损失迅速对齐;难任务可延后大批使用以显著降低数据消耗。 在1.1B参数和1T token的Dense及MoE LLM预实验中,后期切换调度持续优于固定或早期切换基线。
功能标度律(FSL)揭示了最优批大小调度(BSS)结构依赖任务难度:易任务全程增批,难任务则后期切换大批。 该机制源于“快速追赶效应”,即小批切大批后梯度噪声快速遗忘,使损失迅速对齐;难任务可延后大批使用以显著降低数据消耗。 在1.1B参数和1T token的Dense及MoE LLM预实验中,后期切换调度持续优于固定或早期切换基线。
研究发现 Transformer 不同模块间存在持续的 Sharpness Disparity,据此提出 Blockwise Learning Rate 策略以加速 LLM 预训练。
研究利用稀疏自编码器与PERC框架,分析36,081条LinkedIn早期职业招聘启事。 采用GPT-6 Luna分类文本,提取Llama-3.1-8B-Instruct层19特征,揭示不同技术角色的语义差异。 表明自动化洞察提取可有效支持对非结构化职位描述的人工分析。
该研究提出一种结合 Gold、Ambiguous 及 Synthetic 子集的评估协议,用于测试 LLM 在西班牙语政治社交媒体情感分析中的鲁棒性。 通过零样本与少样本提示对比专有与开源模型,发现 GPT-4.1-mini 最为稳定,小型开源模型在情感反转扰动下表现显著退化,且少样本提示增益有限。
研究发现,基于 DeBERTa 的嵌入余弦相似度主要追踪文本长度而非同质化。在 606 万条 Reddit 评论中,截断长度使均值增加八倍,随机替换复现 81% 的非对称性。 控制长度后,政治阵营间收敛在 ChatGPT 前停止;跨阵营回复的针对性比同阵营更强。
summary_zh: Jetriever利用Jev决策得分评估存储记忆对当前问题的效用,以全池效用评分取代相似度搜索。在InMind的125个间接查询任务中,该方法将金标准对话排首位的比例达84.8%。
SAJ-MTL 框架通过联合多任务学习同时建模跨组与组内的人口统计学标注分歧。 框架利用条件梯度路由处理由组条件标注引起的稀疏性,并支持对不同任务设置中的组进行自定义加权。该模型仅需标注者群体成员身份信息即可提升毒性检测性能,比需要个体层面隐私侵入性信息的方法更具实用性。
研究团队在三天内复现并扩展了 MIT 关于 GPT-6 Astra 直接编写和读取小型神经网络权重的成果。发现 GPT-6 Astra 编写的 Breakout 网络得分分别为 514、550 和 307,与 MIT 报告的 517 相当,且 Claude Opus 5.5 也能编写可运行网络但常因输出 token 耗尽而失败。
该研究通过 523 种评分标准提示配置,评估了 15 个开源 LLM 在经济学和医学教育学生回答评分中的表现。 实验使用 631 份德语回答及 103 个评分标准,通过 Krippendorff's alpha 和替代标注者测试验证 LLM 与人类评分者的一致性。 结果显示,最优 LLM 配置在 91 项标准中保持或提升了评分者间一致性,并在 90 项标准中通过测试,可有效支持自动化评分。
预注册研究发现,在单用户邮件标签上微调 Tev1-0.8B 和 Tev1-4B 未超过预注册边际,587 个标签下 4B 模型类型准确率达 +3.3 分,但 0.8B 表现不佳。
针对 LEC 方法在独立同分布采样下违反总体 SCER 目标的问题,提出稳定性补偿线性期望控制(SC-LEC)方法。 利用理论全数据参考的负线性风险补偿阈值选择不稳定性,并推导两个有限样本证书。在 CommonsenseQA、ARC-Challenge 和 TriviaQA 数据集上验证了该方法的保留增益。
研究团队提出从社交媒体话语直接估算症状解析心理测量网络的框架,并首次在3个独立语料库中验证该框架,涵盖抑郁与进食障碍。 在抑郁研究中,表达评分与BDI-II总分相关系数达0.434,21个条目中20个通过FDR显著性检验,分半信度为0.935。 网络比较测试显示不同模态间仅3%-5%的边存在差异,但桥接症状表现出分歧;识别的语言特征在全部3个语料库中方向一致,并聚为三个构念家族。
POND方法通过冻结大模型仅执行预填充,利用可训练桥接将隐状态映射为注意力键值供小模型生成,彻底消除大模型自回归解码开销。 该方法在推理与代码基准上显著提升性能,GLM-5.3作为发送端带来的增益与Qwen3.8-Max相当,且在数学代码任务上训练后可直接迁移至通用知识任务。 这表明前沿大模型的预填充表征能有效提升小模型生成质量,无需依赖大模型进行自回归解码。
LATTE-WordSeg-Lite 是一个 1.17M 参数的 CPU 分词器,能单次输出复合词、单词和语素,在七个测试集中于五个超过 DeepCut。 它采用统一协议重建测试集,对比十二个系统;在单线程下速度比 DeepCut 快 23 倍,模型与基准脚本已开源。 该成果解决了泰语分词资源与子词 token 不匹配的问题,提升了 NLP 工具的可复现性。
作者发布 dhAIBench,一个用于评估大语言模型在语言学标注任务中表现的基准测试与标注工具。 该工具支持记录提示词、配置和预测结果,并提供了探索与分享结果的网页界面。 研究通过 48 个模型在 9 项语言学任务上的 293 次运行结果,证明了模型在形态学、句法、语义等任务上能达到与参考标注的高一致性。 结果表明,应针对具体的语言学任务评估模型,而非依赖通用的排行榜。
该论文提出以家庭本地服务器为核心的设计导向综述框架,梳理了生成式 AI 在全屋智能服务中的应用架构。 框架识别出本地服务器的九项职责,生成模型负责感知与意图理解,确定性验证及授权租约限制动作风险。 现有基准测试依赖虚拟环境,无法替代真实部署评估;本地部署本身不必然更安全。
研究表明微调能提升 LLM 在不确定时输出较粗粒度答案的能力,兼顾正确性与信息量。 测试 LFM2.5-1.2B、Ministral3 3B、Qwen3.5-9B 和 Gemma4 31B 发现,低置信度时模型更倾向输出粗粒度答案,且小模型表现优于基础模型。 证明了置信度相关的粒度自适应是可学习的,但收益因模型而异。
研究显示,基于通用 LLM 的评分系统组合可近似人类评分,无需特定领域微调。 实验评估了 8 种 LLM 和 11 个 AES 系统,处理 668 份学生回答。 单个系统不足,但组合后能大幅减少人工评分需求。
研究构建日语多模态交互基准 JAG-D,评估 VLM 在视觉与语言歧义下的消解能力。实验显示,利用对话上下文可显著提升语言歧义(如日语零形回指)的解决率。该基准旨在分析对话语义内容或结构对视觉定位提升的具体贡献。
研究形式化了“编辑推荐”任务,指出LLM预判用户编辑请求在实际场景中面临固有难度。 构建基于WildChat-4.8M日志的EditRecBench基准,引入决策模型门控过滤低置信度预测,使展示建议的pass@5提升12-25分。 该机制通过降低错误预测的呈现频率,减少了用户审核与反馈的人工成本。
RepoFactory 将真实仓库转化为可验证环境,产出 10,159 个环境,覆盖 17 个软件领域。 在 Qwen3.5-35B-A3B 上训练生成的 RepoHorizen-35B-A3B 在 NL2Repo-Bench 提升 22.6 分,五类基准平均提升 8.5 分。 环境进化循环相比无进化组分别多带来 5.1 分与 2.1 分的增益。
SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。
summary_zh: ELITE 框架通过整合机制而非选择后代,实现编码智能体的无下游评估自改进。在 SWE-bench Pro 上将初始智能体从 60.0% 提升至 85.6%,零候选任务评估。
该研究提出 MemDoctor,将多模态记忆形式化为 Write、Update、Retrieve、Answer 四个阶段,并定义 9 种错误类型。 在 4B 规模模型上,MemDoctor 通过回溯定位并修复源头错误,在 Mem-Gallery 和 MemLens 上的准确率均优于所有 8B 基线,同时也提升了 MuRAG 和 A-Mem 的表现。
研究显示,在临床语音智能体中仅依赖转录文本无法有效识别患者的挫折感,约59%的轮次仅包含一两个词。 在30个通话样本中,引入音频信息对识别准确率的影响因模型而异,部分Gemini 2.5模型在提示下提升了3.0个百分点,但部分开源模型表现反而下降。 研究结论表明,针对短文本轮次,单纯转录文本不足以排除患者处于挫折状态,音频辅助需结合特定模型与提示策略才能有效。
团队提出Living Context Graph(LCG)持续学习上下文层,在BIRD数据库text-to-SQL任务上将准确率提升22.6个百分点。 LCG无需复制底层数据仓库,通过自举语义和概念图索引业务上下文,增量学习性能接近单次学习终点。 该技术已被NeurIPS 2026 Workshop接收,显著提升了企业数据推理效率。
Navital Gym 发布 6 个开源环境与 321 个公共任务,涵盖 UPI 支付及印度语客服。 所有任务由确定性规则评分,无语言模型介入。Claude Opus 5.5 解决 315 个任务,Gemini 3.1 Flash-Lite 仅测试两个环境。代码采用 Apache-2.0,任务数据为 CC BY 4.0。
研究发现一种名为“经验侵蚀”的故障模式:当工具定义发生静默变更时,基于 MCP 构建的资深智能体在大多数任务上失败,而新手智能体多数成功。 资深智能体倾向于复用旧调用而非检查当前接口,即便工具定义已显示变更,它们仍错误地报告成功。这种失败存在于所有测试的记忆形式中,且随经验量增加而加剧;简单告知更新或指向文档无法有效解决该问题。
论文提出 EDITORS 框架,利用激活空间投影剔除内容子空间,使预训练模型优先关注风格特征。 该方法在三个作者归因基准上达到 SOTA,准确率超越最强基线最高达 29%;在风格模仿任务中生成符合内容规范的多样化文本。
在豪萨语医疗选择题中,三个3-4B参数开源模型准确率较英语版本下降显著,且均未超过“只选高频字母”的基线。 误差分析显示,翻译丢失的医学术语是主要缺陷来源;试图通过自生成偏好对弥补差距的干预措施因模型无法理解豪萨语推理而未能执行。
CuRSE-Bench 揭示文生图安全评估存在文化盲点,包含 10,709 个文化特定提示词和 2,648 个通用对照,覆盖六个地区与十个危害轴。 该基准通过 CultureCraft 框架构建提示词,测试发现文化盲点评判员低估文化特定潜在危害,但其在通用对照上与地区人格评判员表现一致。 这一选择性盲点持续存在于已部署的审核系统中,凸显现有安全评估机制对特定文化背景下的隐性危害缺乏有效识别能力。
针对 424 名大学生 527 个浏览会话的研究表明,在跨任务评估中,咨询顺序与关系结构对相对学生表现无显著预测贡献,十二项预设主要测试均未显著。 尽管跨任务合并观察显著提高了相关性,特别是事实正确性方面,但句子嵌入仅在保持任务上与通用响应质量呈现微弱正相关,未确立额外预测价值。 研究指出合并预测相关性可能无法反映任务内学生差异,凸显了任务内评估与标准泛化性审计的必要性。
研究者提出 CLAM 框架,利用循环超网络在前向传播中整合会话激活,无需梯度步骤或生成调用。在 2-7B 开放模型上,CLAM 性能超越所有 Agent 基线 1-45 分,且构建记忆耗时比提取系统少 3-151 倍。
GPRM提出联合建模问题、历史步骤及评估、当前步骤和未来步骤,构建全局感知的过程评估框架。 该模型基于SFT和GRPO构建数据集,在PRMBench和ProcessBench上分别比强基线高出7.8和5.4分。 GPRM在Agent Error Bench上超越GPT-4.1基线,测试时扩展提升约4分。
ANCHOR 框架结合 LLM 与小模型判别头实现集群锚定的 5W1H 提取。LLM 生成候选事件及初始 4W 记录以引导集群选择和主事件锚定。 共享文档编码器提供证据用于联合 4W 细化,边界与角色评分头分别提取 why 和 how。数据集包含 26,110 篇文档,覆盖 10 个语料库、3 种语言和 7 个领域。
研究团队提出 IndustrialKnowEval 基准,包含 43,282 个样本,覆盖 7 个工业领域的 21 种任务类型。 该基准将认知需求分为记忆、理解、推理及工程应用四个层级,并对 18 个 LLM 进行了实验评估。 研究还提出了 ICCG 指标,旨在量化基础工业知识与高阶推理应用之间的性能差距,推动工业智能发展。
研究发现扩散语言模型主要置信度集中于最左侧前沿位置,仅在此处提交速度接近任意位置提交。 回退提交占比 11-35% 却导致 61-72% 的失败,限制在前沿提交可恢复大部分准确率。 该分析基于四个 DLM 在数学、代码等任务上的提交追踪验证。
研究提出 LEAF-OPD,利用冻结教师模型的特权上下文对生成响应进行令牌级监督,提升大模型遗忘能力。 该方法在 TOFU 基准上取得最佳 Forget Quality 与 Model Utility;在 RWKU 基准上,其 Forget Quality 比次优方法高出 34%。
研究人员提出 S-BDS 方法,通过控制样本权重集中度筛选数据,在 Llama 和 Qwen 模型上实现医疗能力与患者安全的平衡。 实验结果显示,该方法相比最强基线将 PatientSafetyBench 上的安全率分别提升 4.64 和 3.00 个百分点,医疗能力保持竞争力。 S-BDS 通过调整安全导向权重,允许用户在医疗性能与安全之间灵活权衡。 ```
20 个前沿模型对 ICLR 2027 提交的盲审显示,模型版本更新导致“接受率”剧烈波动。 Claude Opus 和 Gemini 版本间接受率降幅达 43-79 个百分点;剥离评分的纯文本批评仍能造成 35-51 个百分点偏差。 LLM 评审阈值需随模型版本重新针对人类决策进行校准验证。