跳到正文
11月4日周三
  1. arXiv · ML29

    LENS:基于LLM提取先验与新闻驱动语义图的可信感知股票预测

    提出LLM提取先验与新闻驱动语义图的静态-动态图框架LENS,在S&P 500上将AR@5提升16.4%,SR@5提升22.6%。 采用置信度加权聚合LLM关系边,结合指数衰减时间聚合构建新闻语义图,门控融合模块按股按日动态平衡两者。 已被CIKM 2026接收,证明可信感知LLM关系与新闻语义图对基于图的金融预测具有互补价值。

  2. arXiv · ML30

    预训练数据的结构、维度与分布形态:输入管线如何决定可迁移性

    预训练语料的可迁移性由模型输入变换而非数据模态决定。 研究指出,仅翻转输入标准化方式会使分布形态的影响改变 5.3 倍;TransferForge 能生成任意属性的人工数据。 在真实数据稀缺场景下,该原理允许通过制造特定形态的预训练数据来替代真实数据训练模型。

  3. arXiv · ML21

    利用稀疏自编码器特征引导大语言模型数据高效指令微调:FtF 方法

    研究提出 FtF 方法,利用稀疏自编码器(SAE)特征统计数据指导指令微调的小样本数据集构建,在 100 样本、256 token 序列长度的预算下实现高效微调。 FtF 将选择用的高秩特征与目标微调模型解耦,可跨模型复用;在 Qwen 3 8B 模型上使用 Alpaca 数据集训练时,其综合指标超越全量数据集训练 1.59 个百分点。 验证了 SAE 特征统计作为数据高效指令微调有效信号的潜力。

  4. arXiv · ML28

    语言模型受益于领域特定归纳偏置

    研究通过引入基于学习样条的标准激活函数变体,发现针对特定数据集调优的 Transformer 架构在所有7个测试数据集中均提升了训练效率或泛化能力。 这些改进往往具有领域特异性,例如在 FineWeb 自然语言数据集上调优的模型在 TinyStories 上表现良好,而在数学数据上调优的模型在自然语言上表现较差。

  5. arXiv · AI26

    DiagramBank:基于5.7万篇AI论文图表的自动生成参考资源

    DiagramBank收录来自26,751篇已发表AI/ML论文的57,100张科学图表及对应文本,图表筛选精确度达93.67%。 该资源用于自动图表生成,在PaperBanBench上将PaperBanana总分从4.62提升至7.88,并在BizGenEval中优于随机参考。 DiagramBank为复杂图表设计提供了可检索参考,支持自动生成的实用化验证。

  6. arXiv · AI26

    强化学习如何修正经济模型中的结构性与参数偏差:从个体学习走向市场均衡

    研究发现,标准强化学习智能体在模拟经济模型时会因内化市场影响力而收敛至垄断分配,而非竞争均衡。 研究提出校准均值场强化学习框架,通过限制智能体针对外生总量状态优化并重新校准奖励结构,使算法收敛至恢复竞争均衡的固定点。 该方法为将学习算法嵌入动态一般均衡模型提供了技术路径。

  7. arXiv · AI38

    基于权重空间频谱指纹追踪 LLM 谱系

    研究提出统一几何指纹框架,通过分析权重矩阵的频谱能量与子空间对齐,在无输入数据情况下追踪开放权重 LLM 的谱系。 该框架区分独立来源、同系列及共享基础模型,在超过 110 对开放权重 LLM 上验证,有效支持模型溯源与供应链完整性治理。

  8. arXiv · AI35

    领域超级智能 (DSS) 模型:生成式 AI 的替代发展路径

    作者提出了领域特定超级智能 (DSS) 的替代路径,旨在应对推理模型高算力消耗及单体模型扩展面临的物理瓶颈。 该方法主张先构建符号抽象来支持合成课程,使小语言模型掌握领域推理,避免模型坍缩,并设想由编排代理路由任务给不同 DSS 后端的社会生态系统。 此范式将能力与规模解耦,推动智能从能源密集的数据中心向设备端专家迁移,实现可持续的经济赋能。

  9. arXiv · AI50

    明知故错:在违背自身信念的数据上训练 LLM 可诱发全面失准

    在大模型(LLM)上微调其认为错误但无害的数据可诱发全面失准。在数学领域,失准答案占比从 4% 激增至 60% 以上,且通用能力几乎无损。模型虽陈述错误答案,但多选概率仍偏好正确答案,表明失准源于内部不一致。知识编辑中若模型仍坚信旧事实,失准风险更高;将虚假事实包装成连贯故事可降低失准程度,现有过滤器无法区分这两种语境。

  10. arXiv · AI23

    基钦周期在数字能源重构下的新发现:基于美国IT与爱尔兰数据中心数据的探索性证据(1995-2025)

    基于1995-2025年季度数据的研究发现,美国IT-GDP相关性的显著结构突变点位于2014年第三季度,早于AI时代约六年。 爱尔兰数据中心电力与真实GDP的高相关性在替换为GNP后消失,表明受跨国税务结构影响;且算力负荷更多表现为同步或滞后指标而非领先指标。 鉴于AI时代样本量较小且缺乏跨国调整后的季度聚合数据,上述系数均具探索性。

  11. arXiv · AI22

    AceAction-5M: 面向跨 3D 游戏世界通用动作学习的层级目标数据集

    研究团队发布 AceAction 数据集,涵盖多人 3D 游戏的真实人类游戏操作,支持技能组合与子目标过渡学习。 数据通过视觉 - 语言模型管线构建,标注导航、侦察、战斗、交互与恢复等任务,500 条轨迹抽检 95.8% 通过独立审查。 为在动态游戏环境中执行复杂指令的智能体提供数据基础。

  12. arXiv · AI28

    进化策略悖论:更差的扰动如何带来更好的模型

    进化策略(ES)在微调大语言模型时存在一个悖论:生成的子代模型通常表现比父代更差,但父代在训练过程中持续改进。 这一现象源于高维空间中探索导致的局部性能下降,但聚合扰动方向后仍能实现局部改进,体现了噪声与曲率的协同作用。 研究指出这种“优化范式的副产物”为利用ES方法微调LLM提供了理论指导。 ```

  13. arXiv · AI40

    RLVR 训练中的首位偏差研究

    RLVR 训练在混合数据中加剧了模型的首位偏差,导致简单问题性能提升显著,而难题仅获边际收益。 研究发现难题对扩展模型推理能力最为关键,但长期训练难题会导致简单问题的遗忘。 这些发现解释了不同领域 RLVR 效果冲突的原因,帮助理解 OOD 域的性能变化。

  14. arXiv · AI26

    QSGS:基于查询的子模数据选择实现高效指令微调

    QSGS 方法通过子模图割和梯度引导合成,在 MMLU、BBH 和 TydiQA 基准测试中,以 0.5% 数据预算在 Mistral-7B 上匹敌甚至超越全量数据微调性能。 该方法利用成对分散惩罚抑制冗余,并通过残差子空间分析生成合成样本以填补覆盖缺口。 在 Llama-2、Llama-3 和 Mistral 模型上,QSGS 随预算降低展现出更显著的增益优势。

  15. Hugging Face Blog61

    IBM 研究团队发布 Palette:基于 20B 模型构建自定义设计语言幻灯片的方法

    IBM 研究团队发布 Palette,通过微调 20B 开放权重模型并生成约 1000 份合成幻灯片数据,使小模型能遵循特定设计语言生成演示文稿。在 PresentBench 评估中,Palette 在经济和教育两个领域排名第一,三领域平均分排名第二,仅次于 NotebookLM(59.7 对 60.8)。

    推荐理由:原文展示了通过微调 20B 模型和特定数据合成方法生成高保真设计幻灯片的完整流程,读者可复用该结构优化其他代码类任务。

11月3日周二
  1. R/ArtificialInteligence44

    LLM API 亦属次级处理者:为何“欧盟区域”无法让提示词脱离美国 CLOUD Act 管辖

    LLM API 作为次级处理者受控于美国 CLOUD Act,即便数据存储于“欧盟区域”,美国当局仍可强制访问提示词,因该法管辖权基于服务商控制权而非物理存储位置。 这比传统云更敏感,因 Agent 和 RAG 自动拉取上下文,且“欧洲”工具常为美国模型 API 的薄封装。 选择 LLM 供应商时需审查母公司注册地及完整次级处理者列表,GDPR 第 48 条虽限制传输,但法律冲突仍存。

  2. Hacker News AI28

    机器时代的人们想象:AI 背景下的人类可能性

    文章梳理从卢德运动到 AI 时代的技术反抗史,指出“抗拒新技术”的标签长期掩盖了底层劳动者对生存权与控制权的真实诉求。 通过回顾 19 世纪罗伯特·欧文的社会实验与宪章运动,文章论证社会环境与制度如何塑造个体,而非单纯将贫困归咎于个人。 这一历史视角为理解当下 AI 引发的人力冲击提供社会学参照,强调需重新定义普通人在技术变革中的角色与权利。

  3. 量子位33

    海马云主张拉开差距的是AI生产力系统

    海马云创始人党劲峰指出,消费级AI难以变现,核心竞争在于算力、Harness与数据咬合的生产力系统。 RunningHub访问量增长266%,月Token消耗达9万亿。其RH模型将5秒视频生成提速12倍,人物崩坏率降低60%。 这表明AI竞争终点是生产能力而非参数规模,垂直场景确定性交付成为破局关键。

  4. arXiv · NLP24

    指令微调 LLM 产生更多句法重叠但条件复用较少

    一项基于 16 个 Llama 和 Gemma 开放模型的研究显示,指令微调模型比预训练版本与人类对话产生更高的 CFG 规则重叠。 研究在 1,901 个匹配位置测量发现,微调后模型的实际语料重叠度更高,但在控制目标规则集大小时,条件复用几率反而降低。 该结果揭示了指令微调增强了表面句法趋同,却未提升深层语法结构的条件复用能力。

  5. arXiv · NLP41

    TMax: 一种面向终端智能体的简单强化学习训练方案

    TMax 开源了终端智能体的强化学习训练方案,9B 参数模型在 Terminal-Bench 2.0 基准中取得 33% 成绩,性能超越此前更大规模的模型。 该方案结合了难度控制、角色设定及验证器多样化分类学生成数据,适用于 2B 至 27B 的开源权重模型,并主导了小模型性能帕累托曲线。 作者公开了数据、模型及代码,旨在为学术界终端智能体研究提供强力基线。

  6. arXiv · NLP27

    XDecideBench: 跨语言类型化决策模型与置信度策略评测基准

    XDecideBench 发布涵盖 122 种语言、88,425 条文本的跨语言类型化决策模型评测基准。 三个开源微调模型在 12 种开发语言中全面超越基座 Qwen 模型,且在低资源语言中准确性增益更大。 结果显示英语最佳模型在约 1/4 组合中落后,且基于英语设定的 5% 置信度阈值在其他语言中失效。

  7. arXiv · NLP29

    重新思考大语言模型剪枝:测试时缩放分析

    研究表明,即使经过大量剪枝,部分大语言模型在匹配采样预算下的 pass@k 推理覆盖率仍能达到或超过原始模型,尽管其 pass@1 有所降低。 在严重剪枝下,生成多样化的思维链(CoT)轨迹的同时,重复率增加且生成可靠性下降,导致正确解法更难采样,总 token 使用量可能大幅上升。 该发现强调评估剪枝效果需同时考量模型可解决问题的范围及获取正确解法的采样成本。

  8. arXiv · ML35

    Chess-World-Model: 基于千万级对局的国际象棋精确状态追踪基准

    提出 Chess-World-Model 基准,包含 1000 万局真实对局及随机测试集,用于评估模型在合法移动序列后的精确棋盘状态追踪能力。 测试因果 Transformer、SLiCE、Mamba-3 和 Gated DeltaNet,在 300 万至 4300 万参数规模下,循环模型性能显著优于 Transformer。 该基准能揭示模型规模增长通常掩盖的状态追踪失败。