跳到正文
11月13日周五
  1. arXiv · ML20

    基于背景知识对法律领域合成数据进行分类与风险审视

    论文将合成数据分为转换、增强和模拟三类,强调其生成所依赖的“真值假设”比数据来源本身更具法律与政策意义。 该分类揭示了不同类别合成数据的风险差异:任何类别都无法避免基于群体的隐私侵害,增强和模拟数据可能放大偏见,且合成数据通常难以帮助小竞争对手抵消市场头部玩家的数据优势。 研究呼吁政策制定者在评估是否激励或强制使用合成数据时,应重点审视其生成过程中所使用的真值假设的有效性。

  2. arXiv · ML37

    合成数据增强在数据不平衡下的公平性:理论与自适应分配

    该研究提出ACASA方法,通过最小化估计的公平性差距并受预测准确率约束,学习合成数据增强的位置与数量。 理论分析表明全平衡增强严格改善Equal Opportunity,且有限样本收敛率与信息论下界一致;仿真与真实数据应用证实该方法能显著降低公平性差距并实现有利的公平-准确率权衡。

  3. arXiv · ML30

    FOAM:一种轻量级 SOAP 变体,在 LLM 预训练中平衡效率与效果

    研究者提出轻量级 SOAP 变体 FOAM,通过输入侧预条件和行列统计因子化二阶矩估算器,在 124M 至 760M 参数 LLM 预训练中匹配 SOAP 和 Muon 基线的验证损失。 FOAM 使用 SOAP 一半的优化器状态内存,运行时间达到 Muon 级别,且在 3 倍学习率范围内保持鲁棒性,代码已开源。

  4. arXiv · ML33

    自回归语言模型序列级监督学习的困难

    自回归语言模型序列级监督学习存在根本性缺陷,两种自然尝试导致损失函数无下界。 通过自回归 Gumbel 技巧,基于采样的损失是 Gumbel 扰动下贪婪损失的期望。尽管停止梯度推导的矩匹配方向是有效下降方向,但其高方差使得教师强制可能仍是最佳选择。

  5. arXiv · ML37

    经验交接强化学习实现递归自我改进

    提出ACERL方法,在固定Agentic Context Engineering框架内通过强化学习共优化工具生成、反思与剧本策划行为,利用环境信息交接经验。 ACERL评估交接产物的下游影响,在智能体基准测试中取得优于基线方法的保留集表现。 结果表明智能体训练应优化未来推理所继承的模型生成经验。

  6. arXiv · ML30

    JudgeMix: 基于裁判引导的混合轨迹数据合成 LLM 智能体训练方法

    JudgeMix 提出裁判引导的数据合成框架,解决 LLM 智能体训练中的分布不匹配问题,在 AppWorld 和 AutomationBench 基准上提升最高 10 个 pass@1 点。 该框架根据逐步语义评估动态穿插目标模型与专家混合轨迹,仅在目标模型困难时调用专家指导,并利用裁判评估重新加权专家监督信号。

  7. arXiv · ML43

    KVPath 论文:利用低维增量连接 Transformer 各层 KV 表示

    新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。

  8. arXiv · ML28

    Large Payments Model (LPM) 介绍

    Large Payments Model (LPM) 是一个专为支付预测任务设计的领域基础模型,旨在通过共享学习表示来统一欺诈检测、授权预测等应用。 LPM 基于大规模结构化交易数据从头训练,预训练语料规模达 400 billion tokens,支持独立和序列两种互补架构。 该模型在商户和资金管理领域的多项预测任务中优于任务特定基线,并已通过生产部署验证了其作为可复用支付智能层的有效性。

  9. arXiv · ML32

    量化对比中的噪声底线:引擎、重启、批次与内核漂移对 8 位与 4 位影响的测量

    在 Cloudflare 的 Clef-flash 和 Clef 模型上,非量化因素(如引擎、重启、批次)导致的决策变化在 0 到 0.92% 之间。 同引擎内的量化影响显著,Clef 模型在 Q4_K_M 格式下决策变化达 5.79%。 作者开源了代码与预注册数据,用于复现 31,275 题的量化精度对比。

  10. arXiv · ML23

    南亚家庭暴力调查样本选择的画像式审计

    研究利用南亚5国79.6万女性DHS数据,通过机器学习审计家庭暴力模块的样本选择偏差。 最佳模型HistGradientBoosting在主要采样单元感知的验证下,ROC-AUC达0.9167。女性个体特征贡献了最大的预测增益,而国家间可迁移性有限。 该方法证明了可解释机器学习可用于敏感调查模块的覆盖差异审计。

11月11日周三
  1. arXiv · NLP21

    语音转SFT流水线因子消融:数据质量与下游迁移的差异效应

    研究对语音转SFT流水线进行因子消融,验证各阶段边际价值。 基于2x2设计生成韩医金融QA数据,微调9个LLM(2.4B-70B)。四项LLM评判显示质量提升,但MCQA增益不显著。正向迁移集中于匹配模型-领域对。 6名专家确认全流程质量更高。Whisper-medium替换验证鲁棒性。开源代码及检查点。

  2. arXiv · NLP23

    文本编码对语言模型的影响:基于 Aether 框架的研究

    UTF-8 编码因其变长设计引入跨语言不平等,其影响研究不足。作者提出混合编码 Aether,针对格鲁吉亚语等 4 种语言建模。结果显示信息密集语言(中、韩)受益于压缩编码,而格鲁吉亚语等低信息量字符语言对编码选择不敏感。 研究表明文本编码应作为语言特定决策,而非通用默认标准。

  3. arXiv · NLP25

    单一序列足以识别模型:基于定长整数序列的大语言模型指纹识别

    论文提出 SMCT 模型,通过单一固定长度整数序列识别大语言模型,51 类闭集测试准确率达 92.72%。 NumPrint 基准包含 51 个模型在 1 至 355 整数间生成的 5036 条响应;增加至 4 条响应时准确率升至 97.12%。 该研究为 API 实际响应模型与声明模型一致性的验证提供了有效方法。

  4. arXiv · NLP33

    LLM 验证使最小对基准测试对语言模型更易通过

    LLM 验证使最小对基准测试对语言模型更易通过。在 BLiMP 和 QFrBLiMP 数据集中,10 个开源大语言模型(LMs)在预注册 LLM 过滤器标记的项上比接受的项难 18.9 分,且所有 70 种 LM-验证器组合均显示标记项更难。该过滤去除了 LMs 失败但人类未失败的项目,使准确率提升超过随机去除。

  5. arXiv · AI23

    基于离散变分推断的教育精准预测

    研究者提出一种新的离散变分推断框架,在低数据量设置下实现了最高的预测准确率,超越了所有经典 IRT 和矩阵分解基线模型。 该框架基于项目反应理论,在预测学生数学考试答案正确性时准确率超过 80%,并发布了迄今最大的专业标记正式数学考试作答开放数据集。

  6. arXiv · AI26

    Havon 分词器在204种语言中比 GPT-4o 使用更少 Tokens

    Havon v5 分词器在204种语言中表现优于 GPT-4o o200k_base,其中印度25种语言所需 token 数为 GPT-4o 的中位数 0.74。 该分词器采用多词训练阶段,在 GPT-4o 同词汇量下比 GPT-4o 少用 6.1% 的 token,且在英语中需 0.94 倍 token 数。 目前结果仅展示压缩效率,尚未评估使用 v4 或 v5 训练的语言模型性能。

  7. arXiv · AI27

    LM-SimBench:评估大语言模型训练模拟器的统一框架、数据集与基准

    LM-SimBench 提出 LLM 训练模拟器的统一评估框架、剖析数据集及基准,支持预测精度比较与配置选择评估。 框架分解模拟阶段,在 Ascend NPU 集群剖析 10 个 LLM 家族的 23 种设置,生成 348 种可行配置。 匹配 GPU-NPU 实验验证跨平台适用性,支持 NPU 指导的 GPU 配置选择。

  8. arXiv · AI29

    SeqFold: 基于时间戳寻址的压缩状态用于用户行为序列主干网络

    SeqFold 提出一种压缩状态接口,利用学习式多通道融合、通道级时间衰减和 Lookup-Free Quantization (LFQ),将冻结主干网络的多层用户状态导出为紧凑离散编码。 该方法结合任务特定解码器生成嵌入空间,并在大规模专有数据集上验证,每状态表示存储量减少 3,400 倍,同时保留了未压缩模型的大部分下游排序性能。

  9. arXiv · AI22

    WoW:用于大语言模型全生命周期训练的中文世界知识语料库

    WoW 是一项基于教育知识图谱构建的大规模数据集,专为大语言模型全生命周期训练设计。 该语料库系统性地补充了各级别缺失的教育模块,支持多模态信号,并在多种评测基准上显著提升了模型性能。 作者提供交互式平台支持基于图谱的数据选择与检索,以促进社区研究。

  10. arXiv · ML29

    测试幻觉的结构起源:注意力机制与状态空间混合器的对比

    研究通过干预实验测试模型幻觉的结构起源,发现注意力机制比状态空间混合器更易传播输入中的缺陷。 在410M参数以上模型中,注意力模型重复植入错误陈述的频率显著高于匹配的状态空间模型(2.8B模型:650 vs. 566次,p=2.5e-20),而后者仍能识别植入的新事实。 该发现支持了“混合组件决定上下文缺陷是否转为输出错误”的简化结构解释,表明首因错误源于知识缺失而非被抑制的真相。