跳到正文
11月4日周三
  1. arXiv · AI33

    揭示视觉语言模型中的视觉谄媚与信念分裂现象

    研究提出三层诊断框架,在9000个样本中发现28.1%的视觉谄媚现象,即模型在图片缺失时仍输出错误答案。 该现象具有模型特异性,Qwen3-VL在空白输入下拒绝率达93-98%,而Pixtral-12B作答率高达72%;随着模型规模扩大,视觉谄媚比例显著上升。 盲评实验证实,80%的谄媚回复中无文本迹象表明图片缺失,揭示了模型感知与回答之间的信念分裂。

11月3日周二
  1. arXiv · NLP24

    指令微调 LLM 产生更多句法重叠但条件复用较少

    一项基于 16 个 Llama 和 Gemma 开放模型的研究显示,指令微调模型比预训练版本与人类对话产生更高的 CFG 规则重叠。 研究在 1,901 个匹配位置测量发现,微调后模型的实际语料重叠度更高,但在控制目标规则集大小时,条件复用几率反而降低。 该结果揭示了指令微调增强了表面句法趋同,却未提升深层语法结构的条件复用能力。

  2. arXiv · ML45

    TuneCLIP:开源权重 CLIP 的自监督微调优化框架

    论文提出自监督微调框架 TuneCLIP,显著提升开源权重 CLIP 模型性能,避免标准微调导致的效果退化。 包含恢复优化统计的预热阶段与对比损失优化,在 SigLIP (ViT-B/16) 上 ImageNet 提升 2.5%,DataComp 提升 1.2%。 为高效后训练适配设定了新的强基线,代码已开源,该研究获 NeurIPS 2026 spotlight。

  3. arXiv · ML28

    Legible方法破解大模型“两跳”推理诅咒,显著提升Qwen与Llama知识编辑效果

    微调后的大模型存在“两跳诅咒”,即无法将新事实与原有知识进行多跳推理。Legible方法通过让桥接短语在中间层匹配模型对新实体的内部表征来解决此问题,无需合成多跳数据。 该方法在Qwen2.5、Llama-3和Qwen3模型上验证了效果,其桥接准确率是CaKE方法的1.8-2.6倍,并在RippleEdits基准上成功破解14B模型的两跳诅咒。

11月2日周一
  1. arXiv · AI35

    层级世界模型 ID-WM 通过隐式动力学实现具身智能体的测试时适应

    提出层级世界模型 ID-WM,解耦状态空间可达性与局部控制,通过隐式动力学实现具身智能体的测试时适应。 在导航和操作基准测试中,该方法比现有最先进的策略和扩散规划器性能提升 38.5%。相比单层级世界模型 MPC,在复杂长时序任务中性能提升 135%,有效缓解了累积误差。

10月30日周五
  1. arXiv · ML23

    LLM 高效评估:具有统计保证的主动查询方法

    研究者提出 FAQ 方法,将大语言模型基准测试视为有限总体推断,在固定查询预算下追求紧置信区间。 该方法利用贝叶斯因子模型和混合方差缩减策略自适应选择问题,在两个基准套件上比基线方法带来高达 5 倍的有效样本量增益,且计算开销可忽略。 代码和数据集已开源以支持可复现性。

  2. arXiv · AI36

    当事实变成故事:模型改写新闻时,源一致性指标遗漏了哪些失真?

    三项模型家族将2000篇新闻改写为摘要与故事,研究发现“源一致性”指标无法准确衡量重构中的故意偏离,导致真实失真被遗漏。在故事中,问责失真上升高达7倍,其中三分之二的案例减轻了肇事者的责任。为支持检测研究,作者发布了可重构语料库ReTold-2k。

  3. arXiv · AI50

    证明并改进基于 JEPAs 的柏拉图表示假设

    研究人员将柏拉图表示假设转化为定理,证明 JEPAs 在多模态学习中能收敛至同一旋转不变表示。 理论验证显示,基于好视图的 JEPAs 比下一词预测节省 42 倍训练样本,且 109M 参数文本模型对齐效果优于 72B 语言模型。 该成果揭示了正视图而非单纯规模是构建通用表示的关键,并展示了 64% ImageNet-100 准确率的无配对应用潜力。

  4. arXiv · NLP23

    参数化知识图谱记忆存在存储与检索鸿沟

    研究提出将知识图谱离线编译为LoRA适配器组作为参数化记忆层,查询时零上下文开销。 在MetaQA数据集上,仅匹配实体适配器可将精确匹配分数从0.007提升至0.243;但基于嵌入或权重几何的检索无法定位正确适配器,性能仅为随机水平。 结果显示权重几何与子图语义相关性低(Spearman $\rho$ = +0.329),无法实现功能检索,确立了基于语义相似度的适配器选择机制是核心未解难题。

  5. arXiv · NLP29

    惊讶驱动学习吸收谎言的证据门控持续学习方法研究

    研究发现基于惊讶度的持续学习法会吸收大量谎言,其错误率与随机选择相当。 研究使用 Qwen2.5-1.5B、Qwen2.5-3B 和 Llama-3.2-3B 验证,发现模型自身先验可区分已知事实的谎言(AUC 0.78-0.83),但无法区分合法更新(AUC 0.53)。 结合可信来源的证据门控系统能降低投毒率,但当攻击者植入30%匹配来源时,效果反而不如单独使用法官模型。

  6. arXiv · NLP40

    链式思维依赖是否遵循缩放定律:更大模型更遵循自身步骤,且独立于后训练

    研究发现链式思维(CoT)依赖度随模型规模增加而上升并饱和。在 Qwen3 中,答案对编辑后步骤的依赖度从 0.6B 参数的 16-18% 升至 14B 的 97-100%。 能力是主要驱动因素,依赖度与步骤准确率相关系数 r = 0.99。后训练不改变依赖度,14B 以下模型在缺乏书面步骤时均无法内部解决需四步以上交换的任务。

10月28日周三
  1. arXiv · AI25

    LLM 群体决策中的记忆失效:罕见性与相关性启发式在 CrossProfile 基准下的失败分析

    summary_zh: CrossProfile 基准指出,在隐藏特征任务中,基于相关性或罕见性的记忆筛选策略均存在显著缺陷。 相关性筛选会引入干扰项,相比罕见性筛选在经典配置下损失 23 至 31 分;罕见性筛选平均效果等同于随机选择,且决策模型中社会证明效应导致额外误差。

  2. arXiv · ML23

    FedSEAM:基于子空间专家共识合并的大语言模型联邦持续学习框架

    FedSEAM 提出一种大语言模型联邦持续学习框架,通过子空间兼容性测试选择性共享专家内容,并在服务器端执行共识方向的子空间专家共识合并以保留客户端特有特征。 该框架利用 Qwen3-4B 和 Llama-3.2-3B 在 TRACE 基准上进行评估,引入路由漂移与合并擦除防护机制,其中一种防护能精确保留选定子空间内的历史任务参数。

  3. AWS Machine Learning Blog39

    修复评估偏差以解锁 Amazon Bedrock 上的更优模型

    Property Finder 发现其 96.8% 的评估标签直接继承自单一模型预测,导致评估基准系统性偏向现有模型。 团队通过 356 张 UAE 图像的人工独立标注建立无偏基准,结合演化提示优化将成本降低 86% 并提升准确率。 该案例展示了避免循环评估陷阱的方法,确保模型对比基于真实正确性而非现有模型行为。

10月27日周二
  1. arXiv · NLP37

    Circuit Distillation 论文:基于内部电路机制的模型蒸馏方法

    该研究提出电路蒸馏方法,通过对齐教师与学生模型中对应电路组件的内部表征,取代传统仅模仿输出的行为蒸馏。 在 Llama3 模型族的实体追踪与心智理论任务上,该方法优于标准蒸馏,仅调整学生模型少量特定参数即成功转移算法能力。 研究证实了通过可解释的内部机制转移模型内部计算机制的可行性,为高效蒸馏特定教师能力提供新路径。

10月26日周一
  1. arXiv · AI29

    基于分层误差模型搜索与 KFAC-SVD 的 LLM 压缩方法研究

    研究团队提出了 LEMS 和 KFAC-SVD 两种方法,用于解决基于 SVD 的大语言模型压缩中秩分配和分解质量的问题。 LEMS 通过分层误差代理改进秩分配,KFAC-SVD 利用 token 级统计量避免秩坍塌。 在 Mistral、Qwen3 和 Llama 3 模型族上测试,LEMS 带来最高 4.8 个百分点的零样本精度提升,KFAC-SVD 平均困惑度改善 15%。

10月23日周五
  1. arXiv · AI31

    解析 LLM 中显式心智理论与应用心智理论的能力差距

    LLM 在 ToM 基准测试中的总分掩盖了显式认知与应用能力的差距。SimpleToM 测试显示 Llama-3.1-8B 识别心理状态准确率达 99.4%,但行为预测仅 28.9%。 针对 Qwen2.5-7B 等模型,结合 BSTTT 与提示技巧可使 Llama 行为预测提升 40.8 个百分点。建议分解报告显式与应用准确率以准确评估模型社会认知能力。

10月22日周四
  1. arXiv · AI28

    ToM推理与亲社会信念在最后通牒游戏中对LLM人类对齐行为影响的探索

    研究通过2700次模拟表明,ToM推理增强了LLM在谈判任务中与人类规范的行为对齐、决策一致性及结果。该研究在Greedy、Fair、Selfless等信念及不同ToM推理层级下测试了多个模型。 结果表明推理型LLM能力有限,不同游戏角色受益于不同ToM阶次。Llama 3.3 70B的推理与其行动和信念最一致。该研究推进了对ToM在人机交互与合作决策中作用的理解。

  2. arXiv · ML33

    QSelect 如何在行为保真度约束下压缩空间机器人车载语言模型

    研究者提出 QSelect 方法,通过组合 AWQ、GPTQ 和 AutoRound 静态低比特检查点,生成单一压缩模型以满足空间机器人的内存预算和静态制品要求。 在 Llama-3.1-8B 和 Llama-3.2-3B 上,3 比特目标适应模式使 3-bit 池化准确率比最佳单家族模型分别提高 4.3 和 4.5 点,且 3 比特下未量化嵌入和输出层占打包制品的 43-46%。

  3. arXiv · AI37

    D-Skill 框架通过技能文档实现教师模型到学生模型的知识蒸馏

    summary_zh: D-Skill 框架将教师模型的行为优势蒸馏为可解释的自然语言技能文档,使小模型在推理时加载该文档以提升性能。 该方法离线分析配对轨迹生成技能,无需更新权重或额外交互;在 SpreadsheetBench-Verified、ALFWorld 和围棋谜题上填补了 75%-95% 的教师-学生能力差距。

  4. arXiv · NLP24

    TeCoP:通过试探上下文流水线加速扩散大语言模型解码

    TeCoP 是一种免训练的解码器,通过解耦预测承诺与上下文效用,在 4 个 dLLM 上将前向计算减少 87%。 它实现最高 7.50 倍(无 KV cache)或 11.77 倍(有 KV cache)吞吐量,且精度损失控制在 1 个百分点内。 该方法在 12 种模型基准组合中均优于 Fast-dLLM 和 DSB,提升了扩散 LLM 的推理效率。

  5. arXiv · NLP27

    大语言模型幻觉与事实可靠性基准测试:Fluent but Fallible 研究

    研究通过 70 个学术提示词对比了 ChatGPT、DeepSeek V3 等 10 款大语言模型在幻觉与响应偏差上的表现。 Perplexity 和 DeepSeek V3 整体准确率最高,LLaMA 3 幻觉抗性较强,Falcon 实现零幻觉但召回率最低。 结果揭示了响应完整性与事实可靠性之间的根本权衡,且受提示词复杂度显著影响。

  6. arXiv · ML23

    Meta-iLaD: 通过元学习动态环境实现可辨识的潜在动力学

    Meta-iLaD 框架通过跨动态环境的元学习,同时实现了潜在状态、环境参数及动态函数的可辨识性。 该模型采用前馈元学习器作为条件先验,能从少样本中提取环境参数,支持向分布外环境泛化。 研究证实,环境参数与动态函数的可辨识性对超越轨迹重构的准确预测至关重要,代码已开源。

  7. Hugging Face Blog51

    VocabX 研究显示 SLM 领域专属词表可将推理成本降低 77%

    VocabX 研究通过按 token 生成成本而非出现频率重组小语言模型词表,实现了显著的推理成本降低。在葡萄牙语文本质检场景下,基于 Qwen3-4B 模型的平均生成 token 数从 350 降至 101,实测推理成本降低 77.0%,且质量基准评分从 0.703 提升至 0.810。该方法通过重构子词边界与识别重复的宏观文本片段,在 15 种组合的对比中优于现有的词表优化基准方法。

10月21日周三
  1. OpenAI (X)65

    OpenAI GPT-Rosalind 发现神经退行性疾病新药物线索

    OpenAI 的 GPT-Rosalind 在 Perry 综合征相关研究中提出假设,恢复胆固醇运输可能保护神经元。数千个 GPT-Rosalind 智能体并行工作,在 32 分钟内连接了数百万小鼠脑细胞基因表达数据与科学文献。

    推荐理由:GPT-Rosalind 协助在 32 分钟内建立基因表达与文献的联系,为神经退行性疾病提供了新机制和药物靶点方向。