Tev1-0.8B 与 Tev1-4B 在单一用户邮件标签微调下的预注册学习曲线分析
预注册研究发现,在单用户邮件标签上微调 Tev1-0.8B 和 Tev1-4B 未超过预注册边际,587 个标签下 4B 模型类型准确率达 +3.3 分,但 0.8B 表现不佳。
预注册研究发现,在单用户邮件标签上微调 Tev1-0.8B 和 Tev1-4B 未超过预注册边际,587 个标签下 4B 模型类型准确率达 +3.3 分,但 0.8B 表现不佳。
针对 LEC 方法在独立同分布采样下违反总体 SCER 目标的问题,提出稳定性补偿线性期望控制(SC-LEC)方法。 利用理论全数据参考的负线性风险补偿阈值选择不稳定性,并推导两个有限样本证书。在 CommonsenseQA、ARC-Challenge 和 TriviaQA 数据集上验证了该方法的保留增益。
研究团队提出从社交媒体话语直接估算症状解析心理测量网络的框架,并首次在3个独立语料库中验证该框架,涵盖抑郁与进食障碍。 在抑郁研究中,表达评分与BDI-II总分相关系数达0.434,21个条目中20个通过FDR显著性检验,分半信度为0.935。 网络比较测试显示不同模态间仅3%-5%的边存在差异,但桥接症状表现出分歧;识别的语言特征在全部3个语料库中方向一致,并聚为三个构念家族。
POND方法通过冻结大模型仅执行预填充,利用可训练桥接将隐状态映射为注意力键值供小模型生成,彻底消除大模型自回归解码开销。 该方法在推理与代码基准上显著提升性能,GLM-5.3作为发送端带来的增益与Qwen3.8-Max相当,且在数学代码任务上训练后可直接迁移至通用知识任务。 这表明前沿大模型的预填充表征能有效提升小模型生成质量,无需依赖大模型进行自回归解码。
LATTE-WordSeg-Lite 是一个 1.17M 参数的 CPU 分词器,能单次输出复合词、单词和语素,在七个测试集中于五个超过 DeepCut。 它采用统一协议重建测试集,对比十二个系统;在单线程下速度比 DeepCut 快 23 倍,模型与基准脚本已开源。 该成果解决了泰语分词资源与子词 token 不匹配的问题,提升了 NLP 工具的可复现性。
作者发布 dhAIBench,一个用于评估大语言模型在语言学标注任务中表现的基准测试与标注工具。 该工具支持记录提示词、配置和预测结果,并提供了探索与分享结果的网页界面。 研究通过 48 个模型在 9 项语言学任务上的 293 次运行结果,证明了模型在形态学、句法、语义等任务上能达到与参考标注的高一致性。 结果表明,应针对具体的语言学任务评估模型,而非依赖通用的排行榜。
该论文提出以家庭本地服务器为核心的设计导向综述框架,梳理了生成式 AI 在全屋智能服务中的应用架构。 框架识别出本地服务器的九项职责,生成模型负责感知与意图理解,确定性验证及授权租约限制动作风险。 现有基准测试依赖虚拟环境,无法替代真实部署评估;本地部署本身不必然更安全。
研究表明微调能提升 LLM 在不确定时输出较粗粒度答案的能力,兼顾正确性与信息量。 测试 LFM2.5-1.2B、Ministral3 3B、Qwen3.5-9B 和 Gemma4 31B 发现,低置信度时模型更倾向输出粗粒度答案,且小模型表现优于基础模型。 证明了置信度相关的粒度自适应是可学习的,但收益因模型而异。
研究显示,基于通用 LLM 的评分系统组合可近似人类评分,无需特定领域微调。 实验评估了 8 种 LLM 和 11 个 AES 系统,处理 668 份学生回答。 单个系统不足,但组合后能大幅减少人工评分需求。
研究构建日语多模态交互基准 JAG-D,评估 VLM 在视觉与语言歧义下的消解能力。实验显示,利用对话上下文可显著提升语言歧义(如日语零形回指)的解决率。该基准旨在分析对话语义内容或结构对视觉定位提升的具体贡献。
研究形式化了“编辑推荐”任务,指出LLM预判用户编辑请求在实际场景中面临固有难度。 构建基于WildChat-4.8M日志的EditRecBench基准,引入决策模型门控过滤低置信度预测,使展示建议的pass@5提升12-25分。 该机制通过降低错误预测的呈现频率,减少了用户审核与反馈的人工成本。
RepoFactory 将真实仓库转化为可验证环境,产出 10,159 个环境,覆盖 17 个软件领域。 在 Qwen3.5-35B-A3B 上训练生成的 RepoHorizen-35B-A3B 在 NL2Repo-Bench 提升 22.6 分,五类基准平均提升 8.5 分。 环境进化循环相比无进化组分别多带来 5.1 分与 2.1 分的增益。
SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。
summary_zh: ELITE 框架通过整合机制而非选择后代,实现编码智能体的无下游评估自改进。在 SWE-bench Pro 上将初始智能体从 60.0% 提升至 85.6%,零候选任务评估。
该研究提出 MemDoctor,将多模态记忆形式化为 Write、Update、Retrieve、Answer 四个阶段,并定义 9 种错误类型。 在 4B 规模模型上,MemDoctor 通过回溯定位并修复源头错误,在 Mem-Gallery 和 MemLens 上的准确率均优于所有 8B 基线,同时也提升了 MuRAG 和 A-Mem 的表现。
研究显示,在临床语音智能体中仅依赖转录文本无法有效识别患者的挫折感,约59%的轮次仅包含一两个词。 在30个通话样本中,引入音频信息对识别准确率的影响因模型而异,部分Gemini 2.5模型在提示下提升了3.0个百分点,但部分开源模型表现反而下降。 研究结论表明,针对短文本轮次,单纯转录文本不足以排除患者处于挫折状态,音频辅助需结合特定模型与提示策略才能有效。
团队提出Living Context Graph(LCG)持续学习上下文层,在BIRD数据库text-to-SQL任务上将准确率提升22.6个百分点。 LCG无需复制底层数据仓库,通过自举语义和概念图索引业务上下文,增量学习性能接近单次学习终点。 该技术已被NeurIPS 2026 Workshop接收,显著提升了企业数据推理效率。
Navital Gym 发布 6 个开源环境与 321 个公共任务,涵盖 UPI 支付及印度语客服。 所有任务由确定性规则评分,无语言模型介入。Claude Opus 5.5 解决 315 个任务,Gemini 3.1 Flash-Lite 仅测试两个环境。代码采用 Apache-2.0,任务数据为 CC BY 4.0。
研究发现一种名为“经验侵蚀”的故障模式:当工具定义发生静默变更时,基于 MCP 构建的资深智能体在大多数任务上失败,而新手智能体多数成功。 资深智能体倾向于复用旧调用而非检查当前接口,即便工具定义已显示变更,它们仍错误地报告成功。这种失败存在于所有测试的记忆形式中,且随经验量增加而加剧;简单告知更新或指向文档无法有效解决该问题。
论文提出 EDITORS 框架,利用激活空间投影剔除内容子空间,使预训练模型优先关注风格特征。 该方法在三个作者归因基准上达到 SOTA,准确率超越最强基线最高达 29%;在风格模仿任务中生成符合内容规范的多样化文本。
在豪萨语医疗选择题中,三个3-4B参数开源模型准确率较英语版本下降显著,且均未超过“只选高频字母”的基线。 误差分析显示,翻译丢失的医学术语是主要缺陷来源;试图通过自生成偏好对弥补差距的干预措施因模型无法理解豪萨语推理而未能执行。
CuRSE-Bench 揭示文生图安全评估存在文化盲点,包含 10,709 个文化特定提示词和 2,648 个通用对照,覆盖六个地区与十个危害轴。 该基准通过 CultureCraft 框架构建提示词,测试发现文化盲点评判员低估文化特定潜在危害,但其在通用对照上与地区人格评判员表现一致。 这一选择性盲点持续存在于已部署的审核系统中,凸显现有安全评估机制对特定文化背景下的隐性危害缺乏有效识别能力。
针对 424 名大学生 527 个浏览会话的研究表明,在跨任务评估中,咨询顺序与关系结构对相对学生表现无显著预测贡献,十二项预设主要测试均未显著。 尽管跨任务合并观察显著提高了相关性,特别是事实正确性方面,但句子嵌入仅在保持任务上与通用响应质量呈现微弱正相关,未确立额外预测价值。 研究指出合并预测相关性可能无法反映任务内学生差异,凸显了任务内评估与标准泛化性审计的必要性。
NVIDIA 发布了 Nemotron 3.5 Bolt E4B 4GB,这是一个基于 Gemma-4-E4B-it 后训练优化的开放高效小语言模型,专为快速本地语音助手、交互角色及嵌入式端侧场景设计。
推荐理由:展示了该小模型在21项基准中取得最高平均准确率及最低输出token数,并量化了推理加速指标。
研究者提出 CLAM 框架,利用循环超网络在前向传播中整合会话激活,无需梯度步骤或生成调用。在 2-7B 开放模型上,CLAM 性能超越所有 Agent 基线 1-45 分,且构建记忆耗时比提取系统少 3-151 倍。
GPRM提出联合建模问题、历史步骤及评估、当前步骤和未来步骤,构建全局感知的过程评估框架。 该模型基于SFT和GRPO构建数据集,在PRMBench和ProcessBench上分别比强基线高出7.8和5.4分。 GPRM在Agent Error Bench上超越GPT-4.1基线,测试时扩展提升约4分。
ANCHOR 框架结合 LLM 与小模型判别头实现集群锚定的 5W1H 提取。LLM 生成候选事件及初始 4W 记录以引导集群选择和主事件锚定。 共享文档编码器提供证据用于联合 4W 细化,边界与角色评分头分别提取 why 和 how。数据集包含 26,110 篇文档,覆盖 10 个语料库、3 种语言和 7 个领域。
研究团队提出 IndustrialKnowEval 基准,包含 43,282 个样本,覆盖 7 个工业领域的 21 种任务类型。 该基准将认知需求分为记忆、理解、推理及工程应用四个层级,并对 18 个 LLM 进行了实验评估。 研究还提出了 ICCG 指标,旨在量化基础工业知识与高阶推理应用之间的性能差距,推动工业智能发展。
研究发现扩散语言模型主要置信度集中于最左侧前沿位置,仅在此处提交速度接近任意位置提交。 回退提交占比 11-35% 却导致 61-72% 的失败,限制在前沿提交可恢复大部分准确率。 该分析基于四个 DLM 在数学、代码等任务上的提交追踪验证。
研究提出 LEAF-OPD,利用冻结教师模型的特权上下文对生成响应进行令牌级监督,提升大模型遗忘能力。 该方法在 TOFU 基准上取得最佳 Forget Quality 与 Model Utility;在 RWKU 基准上,其 Forget Quality 比次优方法高出 34%。
研究人员提出 S-BDS 方法,通过控制样本权重集中度筛选数据,在 Llama 和 Qwen 模型上实现医疗能力与患者安全的平衡。 实验结果显示,该方法相比最强基线将 PatientSafetyBench 上的安全率分别提升 4.64 和 3.00 个百分点,医疗能力保持竞争力。 S-BDS 通过调整安全导向权重,允许用户在医疗性能与安全之间灵活权衡。 ```
20 个前沿模型对 ICLR 2027 提交的盲审显示,模型版本更新导致“接受率”剧烈波动。 Claude Opus 和 Gemini 版本间接受率降幅达 43-79 个百分点;剥离评分的纯文本批评仍能造成 35-51 个百分点偏差。 LLM 评审阈值需随模型版本重新针对人类决策进行校准验证。
研究提出 SilentGuard 框架,将静默 API 故障检测移至工具调用执行层,利用不变量测试拦截违规结果,避免模型幻觉。在 15 个公共研究 API 中发现 11 个存在静默故障,错误计数最高被夸大 691 倍。
Claude Opus 5.5 通过权重空间编程编辑 Qwen3.5-0.8B,显著提升其在计算生物学 Python 任务中的表现。 严格正确率从 44 升至 77,技术正确率从 64 升至 100,重复 Python 调用次数从 1,834 降至 1,044。 权重编辑改变了模型的计算过程及答案提交逻辑,修正了部分原有计算错误。
研究将拒答方向框架扩展至查询歧义、模型知识限制与人类价值观对齐三个维度。 通过构建反事实对并计算激活动差,发现中间层激活转向能调节三种拒答行为,且各维度存在共同方向分量。 该机制可解释性有助于提升大语言模型在不确定性下的可信度。
研究表明 Gemma-2-9B-IT 中拒绝相关的线性方向可操控模型拒绝语域,而非仅控制是否拒绝。 在 9B 模型第 20 层注入差异均值方向,使内容安全词汇每百词从 2.55 升至 10.37,随机对照仅 1.13-2.16。 9B 模型中 B1 方向因果效应显著大于 B2,揭示 B1 编码类别检测与词汇信息,B2 主要编码类别检测。
对比点式评分、集合式评分与候选注意力三种方法,研究发现点式评分在五个代理决策基准中依然具有竞争力。 集合式评分在部分工具选择和二元决策任务中表现更好,但允许跨候选交互的候选注意力并未带来一致提升。 通过两个受控合成任务进一步验证,定向关系训练有助于集合式模型学习候选依赖并实现泛化。
研究测试了类型化决策模型 Jev 在 24 篇 ACL 会议论文中的表现。 Jev 零样本直接替代了 46 个测试集里的 12 个,加 500 标签的提示优化中位数弥合 72% 差距,成本每搜索 $1.66。 相比微调 RoBERTa、DeBERTa 或 Qwen3.8-27B,零样本在简单标签下常够用,微调仍最准。
使用 Gemini 基于 55 位作家风格重写 991 篇 AI 文本后,QuillBot 检测器中位分数从 100% 降至 0%。 平均分由 67.9% 降至 11.2%,66% 的重写文本得分为 0%。 研究指出该结果仅适用于特定检测器与重写系统,且重写文本长度显著增加。
论文提出带风险认证的提示词优化框架,通过统计控制将漏检攻击率限制在用户指定水平 α 以内,最大化良性通过率。 该框架包含 CPS 与 CRISP 两种流程,利用同步上置信界进行认证,并在四个涉及提示注入等数据集上验证了其在不同风险容忍度下的效用提升。