跳到正文
10月28日周三
  1. arXiv · ML31

    误差扩散替代隐变量权重:在极少比特抖动状态下训练二值化语言模型

    研究者提出误差扩散(ED)优化器,将二值化语言模型训练状态从 97 bit/权重 压缩至 3-9 bit/权重。 ED 利用 2-8 bit 残差缓冲区替代隐变量权重,在字符级 Transformer 上收敛性能达到参考基准的 98.3%-95%。 该方法使二值模型在 275 MB 内存预算下实现设备上适配,摆脱了对高精度隐变量副本的依赖。

  2. arXiv · ML20

    MOFjson:面向语言模型的金属有机框架显式拓扑表示

    研究提出 MOFjson 表示法,将结构数据分为原子层和衍生层,并在基准测试中表现优于三个基线模型。 在四个模型测试中,MOFjson 在“到达块最近周期副本”任务准确率达 100%(基线 18-47%),晶系表征达 96%(基线 71%),配位任务达 60%(基线 48%)。 该表示法为智能体工具工作流和受限 MOF 生成奠定了基础。

  3. arXiv · ML34

    RL 缩放定律实证研究:预测 actor-critic 算法训练性能

    研究者发现 actor-critic 算法在 Starpilot 和 Craftax 环境中的经验缩放定律,可精准预测最大相差两个数量级的训练性能。 使用 Elo 分数替代平均回合奖励作为评估指标,显著提升缩放定律的可预测性,并在 Craftax 环境中创下新纪录。 进一步观察到计算最优模型规模出现非单调缩放现象,该规律与 Ray interference 病理机制相关。

  4. arXiv · ML22

    FITS:一种用于联邦混合类型表格数据合成的框架

    研究者提出联邦整合两步合成(FITS)框架,旨在联邦设置下生成混合类型表格合成数据。 该框架核心利用局部线性回归估计条件累积分布函数,并通过持续化方法将离散变量无损映射至连续空间,以实现统一的连续表示。 实验表明,使用 FITS 生成的合成数据能够提升所有客户端在下游任务中的表现。

  5. arXiv · AI48

    AgentLogs:揭示 GitHub 云智能体内部运作的大规模日志数据集

    研究团队推出 AgentLogs,这是首个涵盖 GitHub 云智能体真实世界活动的大规模数据集,旨在打开黑盒,记录包括失败在内的执行过程。 数据集包含来自 40,565 个公共仓库的 363,624 个任务和 635,886 个会话,以及 75,631,136 条日志条目,详细记录了提示词、推理、工具调用和 token 消耗。 该数据集支持对智能体行为、故障模式、效率成本及人机协作等方向的研究。

  6. arXiv · AI21

    神经信息因果律:表示学习的随机访问容量定理

    研究推导出“神经信息因果律”(Neural-IC),证明对独立比特数据库,后续查询可恢复的总信息量受限于物理规定的接口容量,即使存在预置量子资源。 该定律将容量松弛、联合组织信息与答案生成损失分离,展示了内存信息预算高使用率与有限检索能力共存的机制。 该框架为表示学习提供设计原则,通过定位后期答案约束来指导内存分配、编码目标及解码器输出。

  7. arXiv · AI26

    EAR:图像编辑模型中的视觉规划研究

    研究提出 EAR 范式,将视觉规划重构为单步图像变换,并引入 AMaze 数据集用于抽象谜题探测。 实验评估主流编辑模型发现零样本表现不佳,但基础尺度微调可显著提升领域内外泛化能力。 高性能模型仍无法匹配人类解题效率,揭示了神经视觉推理的持续差距,论文已被 NeurIPS 2026 接收。

  8. arXiv · AI21

    大语言模型在算术泛化中的长期延迟机制

    研究揭示大语言模型在多位算术上泛化延迟(grokking)受数字基数影响。在进位仅依赖当前位的基数下,Transformer 所需训练整数数量显著减少。 通过一步 Collatz 预测实验验证了上述规律,该结构也适用于整数除法及 decoder-only 模型。该研究在 NeurIPS 2026 Workshop 被接受,表明数制选择可预先预测样本效率。

  9. arXiv · AI27

    ELinFormer:基于熵校准线性注意力的多变量时间序列预测模型

    研究者提出ELinFormer预测器,通过熵校准线性注意力模块解决多变量时间序列建模中二次方计算成本高的问题。 该方法将聚合分解为均匀分量和查询相关修正项,利用查询特异性温度进行校准。在5个PEMS基准测试中,该模型实现了精度与内存的有效折中,且查询特异性校准比共享温度方案获得更低MAE。

  10. arXiv · AI23

    EOPSA:高效在策略自蒸馏安全对齐方法

    EOPSA 提出一种高效在策略自蒸馏安全对齐框架,将推理计算量减少约 50%,且仅对约 2% 的 token 进行反向传播,在保持 32B 参数规模模型推理能力的同时提升安全合规性。 该方法通过自适应 rollout 调度和选择性蒸馏,排除风格漂移导致的无效梯度噪声,确保计算资源集中于安全关键 token。代码和模型已在项目仓库开源。

  11. arXiv · AI23

    GENCO:嵌入开发框架的稳态电网分析统一神经求解器

    GENCO 统一神经求解器支持稳态输电电网的潮流计算、最优潮流和状态估计,最高较 Newton-Raphson 快 30 倍,较 IPOPT 快 85 倍。 开源 GridFM 开发框架标准化了合成数据生成与低代码训练,并发布了数百万 PF 和 OPF 场景的大规模数据集。 该系统大幅降低了电力系统工程师的使用门槛,标志着向电网基础模型(Grid Foundation Models)迈进。

  12. arXiv · AI28

    CAFE:结合多智能体强化学习与因果引导的自动特征工程

    论文提出 CAFE 框架,将自动特征工程(AFE)重构为因果引导的顺序决策过程,结合因果发现与强化学习。 该框架分两阶段:先学习稀疏有向无环图获取软因果先验,再用级联多智能体深度 Q 学习选择因果组及算子。 在 15 个基准上显著优于最强 AFE 基线(Wilcoxon p<0.001),在分布偏移下性能下降幅度最多减少 4 倍。

  13. arXiv · AI30

    GRPO 中预算受限强验证器审计以抑制奖励作弊

    针对 GRPO 训练中验证器被作弊利用的问题,提出低通过预算审计(LB)策略,通过优先审计弱通过最少的组并惩罚被抓作弊样本,有效抑制奖励作弊。 在 LeetCode 和 Countdown-Code 任务中,LB 策略将作弊率降至接近零,而同等预算的随机审计无效;此外,该策略比无偏校正方法在留出集准确率上高出 6.1-11.8 分,且仅需使用完整审计 28% 的标签量。

  14. arXiv · AI31

    DoubleFree:利用探索历史实现无 Rollout 的多任务 LLM 训练

    提出 DoubleFree 框架,复用领域强化学习的历史轨迹实现无 Rollout 的多任务 LLM 整合训练。 在 Qwen3 和 SmolLM3 模型上,DoubleFree 将整合速度提升 2.99-5.75 倍,降低 80.9-90.1% 的 GPU 小时消耗。 该方法对现有后训练框架仅需最小改动即可显著降低系统成本,同时保持相当的多领域性能。

  15. arXiv · AI25

    DPR 双层稀疏化方法:在紧凑核心上训练以实现图神经网络高效推理

    DPR 方法通过“剪枝-重构”双层稀疏化,将节点剪枝从精度损失转化为 VRAM 受限下的训练加速器。部署版 30% 预算模型在单张 6 GB GPU 上以 1,450 MiB 峰值内存完成训练,相比 DSpar 基线降低 50.1% 内存且精度提升 1.36 pp,所有节点服务速度比 GraphSAGE 快 46 倍。该框架可扩展至 2.45M 节点生产图,证明激进剪枝在显存受限场景下的可行性。

  16. arXiv · AI23

    RADAgent:基于开源 LLM 自动化 RADseq 分析流程

    研究团队提出 RADAgent,利用开源权重大语言模型(LLM)自动执行 RADseq 基因测序分析流程。该方法将工作流映射为 16 个独立可执行的智能体模块,并采用模型无关运行时支持故障恢复。在包含 19 个群体、476 个样本的真实数据集测试中,RADAgent 成功在本地环境完成全流程自动化,代码已公开。

  17. arXiv · AI33

    CSI-TextBench:用于基于语言的被动感知感知的数据集与基准

    CSI-TextBench构建了大规模数据集,统一3项感知基准,包含285,790个样本、7个任务和2.0 million条CSI-文本训练元组。 该基准测试了来自4个范式族的5种对齐方法,发现对比式CSI-文本对齐在不使用类别标签的情况下可媲美监督分类器,并在140个组合场景上以86.9%的top-1准确率超越了专用分类器集成。

  18. arXiv · AI24

    Fed-Universe:用于联邦系统协商对齐的语义-几何-拓扑-人类(S-G-T-H)架构

    Fed-Universe 框架解决联邦学习中“一刀切”范式压制少数样本的问题,通过 S-G-T-H 架构实现去中心化对齐。 该架构包含语义层 LLM、几何层质量控制、拓扑层帕累托控制及人类层认知孪生,并在跨国临床模拟中验证了少数节点(数据量<3%)效用趋同。 框架将进一步扩展至机构多模态对齐(Fed-Ultra)和个人认知意图对齐(Fed-Human)方向。

  19. arXiv · AI25

    罕见病诊断 LLM 评估伪影与数据泄露审计

    针对罕见病诊断 LLM 系统的高风险偏差,研究利用 6 万余病例实证量化评估伪影与数据泄露影响。 强制跨数据集隔离使 Recall@1 从 54.3% 降至 40.3%,监督分类准确率从 42.9% 跌至 16.7%。 提出结合严格数据隔离与标准基准保护的评估框架,以验证模型的真实临床稳健性。

  20. arXiv · AI33

    大模型全阶段训练综合框架:从数据与分词到预训练及后训练对齐

    该研究提出统一的大模型全阶段训练框架,建立涵盖数据、目标函数、优化策略等六个维度的分析体系。 系统回顾了2017至2026年间的395篇核心参考文献,其中约79%为经过同行评审的A+B级证据,并构建了跨阶段效应概念图。 明确了预训练对后训练的前向约束,以及后训练对数据与预训练的逆向赋能机制,并识别出10个可验证的开放问题。

  21. arXiv · AI20

    大语言模型数据优化综述

    该综述系统回顾了大语言模型(LLMs)的数据优化技术,构建了涵盖数据选择、增强、加权及其他的分类框架。 研究首先分析了 LLM 训练与推理中的数据挑战,并确立了质量、难度、多样性和冗余性四大数据感知维度。 文章最后指出了当前数据优化相较于传统深度学习的关键挑战与未来研究方向。

  22. LessWrong · All Posts49

    如何利用去词法(Delexicalization)解决小数据量下的定制内容审查模型微调难题

    在仅有约500条样本的微调场景中,使用去词法将具体国家、组织名替换为COUNTRY、ORGANIZATION等固定token,显著提升了小模型在自定义内容审查类别上的泛化能力。 方法通过维护简单哈希表进行模糊匹配替换,解决了模型命名实体识别(NER)较弱导致漏检地区缩写(如KSA)或新机构的问题。 去词法有效降低了小样本微调对特定实体名称的依赖,提升了定制安全模型在稀疏数据下的鲁棒性。

10月27日周二
  1. Hacker News AI59

    研究证实AI训练数据中官方更正错误持续存在

    针对欧盟法规、RFC标准及撤稿论文的研究发现,95.5%可测试的单语言欧盟法规更正仍以错误形式保留在EurlexResources中,且至少124个欧盟法律错误和60个RFC勘误复现于网络训练数据。当模型同时看到新旧版本且标注日期时,较大模型能正确选择更正版本的比例达99%-100%。

  2. arXiv · NLP30

    Token Inoculation:LLM 双用途知识的条件化标记而非抑制

    研究提出 Token Inoculation,在继续预训练时标记危险句子并微调 LLM 拒绝回答危险问题。在 1.5B 至 14B 参数规模中,该模型将危险准确率保持在 18% 附近,同时保留 93% 的 MMLU 指令基线性能。 这种条件化方法优于遗忘和拒绝训练等抑制方法,实现最佳安全与效用平衡,且优势在开放式生成和网络安全迁移中均得到复现。

  3. arXiv · NLP21

    CausalMix:将语言模型训练中的数据混合视为因果推断

    CausalMix 提出将 LLM 数据混合优化建模为因果推断问题,解决静态假设导致的数据分布变化后需重训的局限。 作者利用 Qwen2.5-0.5B 的 512 次运行拟合 CATE 模型,并在 800K 数据池上外推最优混合策略训练 7B 模型。 该方法实现了离线推断状态依赖的数据混合,在下游任务中展现竞争力且具备可解释性。

  4. arXiv · NLP20

    事后嵌入对齐改进压缩Transformer性能

    提出Alignment Adapter (AlAd)框架,通过事后对齐压缩模型的token embedding与参考模型以提升下游任务性能。 AlAd是一个置于压缩模型最终层后的小型前馈网络,可读取相邻token窗口利用局部上下文。使用BERT-base作为参考,在POS标注、NER和抽取式问答任务上,AlAd能改善四个BERT压缩变体表现,且联合微调效果优于冻结模型。