跳到正文
10月30日周五
  1. arXiv · NLP27

    Code2LoRA: 超网络生成的代码语言模型 LoRA 适配器

    Code2LoRA 提出超网络框架生成仓库专用 LoRA 适配器,在静态任务上实现 66.2% 的库内精确匹配率,且无推理时 token 开销。 框架包含静态与演化两种模式,演化模式在跨库任务中比单一共享 LoRA 高出 5.2 个百分点,并构建了含 604 个 Python 仓库的 RepoPeftBench 评测基准。 代码、模型检查点及基准数据集已开源。

  2. arXiv · NLP38

    SARDI:扩散语言模型的自增强检索框架

    SARDI 提出一种免训练的动态 RAG 框架,利用推测 token 预测在扩散模型去噪过程中引导检索。 该框架检索器无关,适用于具备推理能力的离散扩散语言模型。 在五个多跳 QA 基准测试中,SARDI 吞吐量最高提升 4 倍,优于免训练扩散及自回归检索基线。

  3. arXiv · NLP35

    可执行模式合约:从自动摄入到多源检索的系统研究

    该论文提出一种系统,可从原始多源数据自动发现可执行模式,并将其作为构建知识图谱和查询检索的共享合约。 系统通过约束LLM进行模式发现,结合确定性结构分析推断主外键,驱动数据抽取、去重及跨源链接,生成具备溯源能力的知识图谱。 在四个问答基准上的零样本对比中,该系统优于仅检索及分解式基线模型,消融实验证实模式条件路由、结构智能及模式引导构建均对性能提升有贡献。

  4. arXiv · NLP20

    从标签分布学习中标注饱和度的指标依赖性

    在ChaosNLI数据集上微调NLI模型发现,标注者数量需求取决于评估指标。KL散度匹配在约10名标注者时饱和(达成87-95%改善),而熵相关性需20-50名标注者才能收敛。 软标签在熵相关性上优于标签平滑(r=0.643 vs 0.45-0.49),且优势在DeBERTa与RoBERTa架构中均可复现。 研究表明,标注预算应根据目标评估指标而非统一设定来分配。

  5. arXiv · NLP30

    探索语言模型数据归因设计空间:CATT 基准与负对数几率梯度优化

    研究提出用于事实追溯的受控归因基准 CATT,通过在完全虚构知识上微调 LLM 来提供无歧义归因真值。该基准证明数据冗余和词汇干扰物会一致降低归因性能。 研究发现标准方法将文档内局部化因果证据稀释为噪声,建议用负对数几率梯度替代交叉熵损失梯度,并仅聚合前几名 token 分数。

  6. arXiv · NLP27

    Glance:生成器即重排序器

    Glance 提出通过轻量级决策适配器和指针头实现生成器自主重排序,基于单个常驻 9B 骨干模型。 在 SciFact 上 nDCG@10 达 0.741,优于 bge-reranker-v2-m3;每个决策技能仅增约 0.1 GiB 显存。 该架构验证了单一骨干模型处理生成与重排序的可行性,覆盖多个检索基准。

  7. arXiv · NLP39

    LLMs 中检索文献对科学创意生成影响的追踪研究

    研究通过 10 个开放权重模型和 45,000 个创意,比较 5 种检索策略与无文献基准,发现检索策略将同源创意多样性降低 5.6%–17.9%,混合后增加 10.2%–18.1%。 使用基于 JSD 的归因方法追踪文献影响,发现 79.3% 的创意由 1–2 篇论文主导,且归因多样性与创意多样性相关(r=0.70)。 该结果建议利用多样化文献组合和归因机制引导后续科学创意的来源选择。

  8. arXiv · NLP23

    Marathi 跨语言抽象摘要研究

    研究者基于 MahaSum 语料库构建跨语言训练数据,结合 PMIndiaSum 数据集微调 IndicTrans2 模型,实现 Marathi 到 English 的摘要生成。 模型在 ROUGE、chrF 等指标上显著优于 IndicBART 和 mBART-50 基线,实验证实预训练翻译模型能有效提升跨语言摘要性能。

  9. arXiv · NLP26

    多模态Transformer框架:通过语义增强表格对长金融文本进行Grounding

    论文提出一种多模态Transformer框架,通过将金融表格转化为语义增强token序列,并结合交叉注意力机制处理长文本,实现跨模态依赖捕捉。 该框架利用变量的文本定义生成语义嵌入,增强了对数值大小和经济意义的编码,相比仅值嵌入更具表达力且参数效率更高。基于财务报表数据集实验表明,结构化数值特征是主要预测信号,而文本信息通过交叉注意力能带来一致的增量收益。

  10. arXiv · NLP32

    面向科学家和从业者的 LLM 入门指南

    该书为科学家和从业者提供 LLM 实用入门,涵盖 tokenization、embeddings、RAG、agent 等核心概念与限制。 内容特意避免数学细节,结合 Turin 大学医学 AI 硕士课程背景,强调幻觉、偏见及人机监督。 包含 Ollama 和 Open WebUI 本地部署实践,无需编程基础即可操作。

10月29日周四
  1. Hacker News AI76

    Trakkr Research 追踪 1285 个统计数字,揭示 AI 引用来源中 40% 无法验证

    Trakkr Research 对 ChatGPT、Perplexity、Gemini、Claude 和 Google AI Overviews 引用的 1285 个统计数字进行了来源追溯,发现仅 40% 的引用能追溯到与研究结论一致的原始文献。

    推荐理由:该研究通过溯源1285个统计数字,揭示了AI引用中普遍存在的“僵尸统计”现象,为评估AI数据可信度提供了实证依据。

10月28日周三
  1. Hacker News AI45

    Uber 构建 AI Legal Redlining Agent 提升合同审查效率

    Uber 开发的 Legal Redlining Agent 集成于 Microsoft Word,通过 AI 识别合同红线并建议修改,使平均合同审查时间减少 20% 以上,AI 决策准确率达 91%。 该系统结合 RAG 检索与意图检测,生成符合策略的建议和风险提示,帮助律师聚焦复杂判断而非重复性工作,并在 2026 年 3 月获 ALM 最具创新法务部门奖。

  2. LessWrong · All Posts52

    用户分享 Gemini 上下文检索失败案例

    用户描述在用 730 页 Word 文档记录 AI 协作者对话并作为上下文上传时,Gemini 因坚持维持对话和表现乐于助人,出现完全虚构数据和分析的问题。用户称只有在持续检查和质疑下才发现错误,因此希望分享该案例作为警示并推动改进。

  3. arXiv · ML29

    PORTAL 测试时自适应干预控制器:何时及如何部署

    研究提出 PORTAL 控制器,用于决定测试时自适应干预(如更新归一化统计)的部署时机与标签查询策略。 PORTAL 通过固定候选预测规则并结合共享标签比较,将查询导向可能超越当前领先者的候选,在剩余标签无法改变选择或精度增益不足时停止。 该方法将整体降低精度的干预转变为在特定批次上有效的选择,防止到达顺序变化导致的严重失败,并通过获取的标签训练更强的未来候选模型。

  4. arXiv · NLP35

    QESChunker:统一重叠与非重叠 RAG 分块的目标函数

    提出首个基于问题-证据监督的静态分块索引构建方法 QESChunker,统一了重叠与非重叠分块目标。 非重叠情形可用动态规划在多项式时间内精确求解;重叠情形为单调子模函数,贪心算法获得 $(1-1/\sqrt{e})$-近似。 在 5 个数据集上,两种变体在完全证据召回率上均优于现有方法。

  5. arXiv · ML23

    LLM 知识在 OOD 表格预测中的应用:跨验证正则化方法

    利用大型语言模型生成的系数先验替代传统零收缩目标,能改善分布外(OOD)表格数据预测,在五个数据集中四个实现平均 MSE 最高 7.9% 的改进。 跨源域交叉验证仅用于筛选先验,结果表明该策略能规避表现最差的先验,但当训练数据量足够大时,先验更主要起正则化而非转移修正作用。

  6. arXiv · NLP42

    ETAMem:解耦与对齐异质记忆的长期对话智能体框架

    论文提出多视角记忆框架 ETAMem,在 LoCoMo 和 LongMemEval-S 数据集上分别实现 12.46% 和 7.96% 的相对准确率提升。 该框架通过解析原子记忆单元,构建事件、情感和时间三个互补层级视图,并利用基于熵的检索分配查询预算。实验结果证明不同记忆视图具有互补优势,提升了 LLM 长期对话的连贯性与个性化。

  7. arXiv · NLP30

    决策模型在 RAG 知识冲突分类中的表现:能否替代 LLM 识别冲突原因?

    研究发现 11 个决策模型在 CONFLICTS 基准上准确率达 50.0%-67.0%,10 个模型成本比 Gemini 2.5 Flash 低 4-39 倍、延迟低 2.6-6.0 倍,且生成的回答行为与 LLM 一致。 通过级联方案将低置信度查询转发给 Gemini 3.8 Flash,在 25%-37% 的成本下统计上打平其精度,验证了决策模型在 RAG 系统中作为快速分类层的可行性。

  8. arXiv · NLP31

    FinLLM-KG:结合因果LLM与金融知识图谱的算法交易情感分析框架

    FinLLM-KG 是一个模型无关框架,结合因果LLM与金融知识图谱,在推理时注入基于时间的公司级知识,无需更新模型权重。 该框架通过SEC 10-K文件数据,以自然语言公司档案或相关性排序的事实三元组提供上下文,使情感预测考虑更广泛的公司级信息,计算成本极低,且将情感得分归因于单句及检索事实,增强可解释性。 模拟显示,FinLLM-KG持续提升了投资组合表现,优于最先进基线。

  9. arXiv · ML30

    Jaxnasium: 基于 PyTrees 的跨套件多智能体强化学习库

    Jaxnasium 是一个基于 JAX 的开源强化学习库,利用 PyTrees 结构支持跨 11 个环境套件的 300 多个环境,允许在离散、连续、图像及组合空间中进行多智能体训练,无需修改算法代码。该库提供近乎单文件实现的 PPO 算法,默认超参数即可运行,并具备 Gymnasium/EnvPool 包装器、多种子评估、超参数扫描及项目脚手架工具。

  10. arXiv · AI30

    RAID提出无需目标查询的生成式搜索引擎优化方法

    研究人员提出RAID方法,通过角色增强意图驱动优化生成式搜索引擎内容可见性,无需访问目标查询或相关反馈。 在100个样本和500个评估查询中,RAID的目标整体相对改进得分(RIS)达3.00%,主观平均分1.32%,有效优化率平均为58.0%。 该方法在生成式搜索引擎普及背景下,为内容优化提供了新途径,提升了不可见查询下的优化能力。

  11. arXiv · AI28

    FA-GC:联邦学习中的梯度校正方法

    提出联邦自适应梯度校正(FA-GC),在梯度进入运行平均前进行校正以解决客户端漂移,收敛界不含数据异质性项。 在七项图像与语言任务中,FA-GC 平均收敛轮次最少,图像任务通信量更低;在强异质性下表现优于 FA-NT 及未校正优化器。

  12. arXiv · AI28

    REGER:利用语义ID对物品间关系建模以优化生成式推荐

    REGER提出统一框架,将物品间关系显式纳入语义预训练、历史编码和语义ID生成,解决随机初始化导致语义缺失问题。 采用生成式语义检索预训练模型以继承语义相似性,结合全局与局部注意力捕捉上下文及相邻物品转换,并基于SID前缀树实现偏好分布的精确分解与蒸馏。 在真实数据集上,该框架在现有生成式推荐基线模型上展现出持续提升效果,验证了偏好蒸馏的有效性。