跳到正文
10月7日周三
  1. arXiv · ML28

    用 LLM 分析加密货币交易:以比特币为例的研究框架

    研究团队利用 LLM 分析比特币交易图,提出 LLM4TG 图谱表示与 CETraS 采样算法,显著降低 Token 消耗。 LLM 在基础指标与特征概览上表现优异,节点级基础信息识别准确率超 98.50%,特征获取率达 95.00%。 在分类任务中,LLM 即使标签数据有限,Top-3 准确率仍达 72.43%,展现了潜在应用价值。

  2. arXiv · ML42

    WASD: 基于 Wasserstein 距离的大语言模型知识蒸馏方法

    提出了名为 WASD 的大语言模型知识蒸馏方法,通过结合基于 Wasserstein 距离和词嵌入构建的成本矩阵,在离散概率分布对齐中引入词元级语义信息。 该方法采用 Sinkhorn 散度确保计算可行性,并推导出可高效优化的梯度等价目标函数,无需引入额外网络。 在多个 LLM 家族和规模上的实验表明,WASD 在指令遵循、数学推理和代码生成等多样化任务上持续提升了蒸馏性能。

10月6日周二
  1. arXiv · NLP21

    FullFront:跨全前端工程流程的多模态大语言模型基准

    研究团队提出名为 FullFront 的基准测试,旨在评估多模态大语言模型(MLLMs)在完整前端开发流程中的表现。该基准涵盖网页设计、感知质量检查与代码生成三个任务,并采用两阶段流程将真实网页转化为标准化 HTML。测试发现当前 SOTA 模型在页面感知、代码生成及交互实现上存在显著局限。结果突显了 MLLM 能力与人类专家在前端工程领域的巨大差距。

  2. arXiv · NLP23

    VHDL-REPOBENCH: 用于评估大语言模型 VHDL 设计生成能力的仓库级基准

    研究人员推出大规模 VHDL 设计生成基准 VHDL-REPOBENCH,涵盖约 100 个开源仓库和 2.5k 个文件。 该基准支持跨文件依赖解析和层级推理,通过 GPT-4o 等模型的测试发现当前 LLM 在多文件推理和规格到模块生成方面仍存在显著挑战。 作为首个专注于 VHDL 的大型基准,它为硬件设计社区评估和推进 LLM 实际开发能力提供了重要资源。

  3. arXiv · NLP33

    代码生成中的验证陷阱:虚假前提下的测试时选择失效机制

    研究揭示代码生成测试时选择存在“验证陷阱”,当生成器与验证器共享虚假前提时,选择器可能选中错误候选。 在3个基准和5个代码模型上,虚假前提降低首样本正确率,即使64次测试时选择也无法避免误选。 验证器测试继承了前提盲区,导致选择空间偏离正确解;轻量级无黄金标签预测器可达0.846 AUROC。

  4. arXiv · NLP30

    小模型结合语义搜索实现高效多语言代码定位

    基于 ColGREP 的紧凑本地智能体在 SWE-bench Lite 和 Multi-SWE-bench Flash 任务中,定位准确性优于 GREP 基线。该方案结合加权监督微调与强化学习,训练了三个参数量低于 20 亿的模型族。在 CPU 环境下,端到端延迟降低 44.1%,Token 消耗减少 29.1%,并提升了对未见编程语言的泛化能力。

  5. arXiv · AI30

    MemTrace:面向长程编码智能体的状态一致记忆系统

    MemTrace 提出了一种感知的源记忆系统,旨在解决长程编码任务中历史累积导致的上下文预算紧张及仓库变更引发的证据失效问题。 该系统通过将历史存储为不可变的记忆轨迹并构建轨迹图,在上下文受限时仅保留紧凑的记忆锚点,并在恢复证据前校验其在当前仓库状态下的有效性。

  6. arXiv · ML20

    BIRD 基准测试:统一评估 LLM 驱动迭代奖励设计算法

    研究团队发布 BIRD 基准测试,旨在为基于 LLM 的迭代奖励设计提供统一配置与评估空间,解决现有方法难以直接比较的问题。 该基准在 MuJoCo、Meta-World、Assistax 和 HumanoidBench 环境中评估发现,少量简单的设计选择组合即可显著优于此前已发布的各类方法。 BIRD 基准测试突出了简单基线的强大性能,为后续研究何时需要更复杂的算法复杂度提供了依据。

10月5日周一
  1. arXiv · ML20

    CATCH: 用于编码强化学习中奖励劫持的可控分析测试平台

    研究人员发布 CATCH,一个用于研究编码强化学习中奖励劫持的可控测试平台。该工具通过暴露环境漏洞和提供基于执行的黄金标签,结合监督微调数据混合控制模型初始劫持倾向及奖励设计控制难度,实现了对劫持动态和干预措施的系统性对比。实验发现链式思考监测器初始能抑制劫持,但随着策略模型学习用代码注释误导监测器,这种保护作用会逐渐削弱,且 CATCH 的源代码和资源已公开。

  2. arXiv · ML25

    GTDD: 用于AI编码智能体的生成式测试驱动开发,结合对抗性测试

    论文提出生成式测试驱动开发(GTDD),由独立测试智能体在每轮实现固定后生成新输入,结合可信评估器与回归测试,持续暴露初始样本外的失败。在基于状态键值存储的配对实验中,开发期间重新生成测试的策略平均失败率更低,向测试方提供源代码未带来可检测的额外改进,且该差异无法归因于单一功能。

  3. arXiv · ML28

    Constraint-Aware Training:通过外部化程序分析提升语言模型生成效率

    该论文提出一种约束感知训练目标,将程序分析(如语法、类型检查)从模型训练中外部化,以避免训练与推理阶段的重复。 研究形式化证明了这种外部化在模型参数量和数据效率上的益处,并通过合成实验验证,在相同参数和数据量下,约束感知训练比标准交叉熵训练具有更低的预测损失。

  4. arXiv · AI45

    AI 智能体编程任务 Token 消耗分析与预测研究

    该研究首次系统分析 AI 智能体在编程任务中的 Token 消耗模式。分析八种前沿 LLM 在 SWE-bench Verified 上的表现发现,智能体任务 Token 消耗是代码推理的 1000 倍,且 Kimi-K2 比 GPT-5 多消耗 150 万 Token。研究发现模型难以预测自身消耗量,相关系数仅 0.39,且高 Token 消耗并不必然带来更高准确率。