LENS:基于LLM提取先验与新闻驱动语义图的可信感知股票预测
提出LLM提取先验与新闻驱动语义图的静态-动态图框架LENS,在S&P 500上将AR@5提升16.4%,SR@5提升22.6%。 采用置信度加权聚合LLM关系边,结合指数衰减时间聚合构建新闻语义图,门控融合模块按股按日动态平衡两者。 已被CIKM 2026接收,证明可信感知LLM关系与新闻语义图对基于图的金融预测具有互补价值。
提出LLM提取先验与新闻驱动语义图的静态-动态图框架LENS,在S&P 500上将AR@5提升16.4%,SR@5提升22.6%。 采用置信度加权聚合LLM关系边,结合指数衰减时间聚合构建新闻语义图,门控融合模块按股按日动态平衡两者。 已被CIKM 2026接收,证明可信感知LLM关系与新闻语义图对基于图的金融预测具有互补价值。
研究形式化“声明变更包”以认证模型更新是否仅在预设区域改变行为。测试发现LoRA及全量微调更新在声明范围外造成7%-36%的决策泄漏。 锚定LoRA、GRPO及小学习率全量微调可将泄漏控制在5%,而开放式聊天无法通过此类认证。
预训练语料的可迁移性由模型输入变换而非数据模态决定。 研究指出,仅翻转输入标准化方式会使分布形态的影响改变 5.3 倍;TransferForge 能生成任意属性的人工数据。 在真实数据稀缺场景下,该原理允许通过制造特定形态的预训练数据来替代真实数据训练模型。
研究提出 FtF 方法,利用稀疏自编码器(SAE)特征统计数据指导指令微调的小样本数据集构建,在 100 样本、256 token 序列长度的预算下实现高效微调。 FtF 将选择用的高秩特征与目标微调模型解耦,可跨模型复用;在 Qwen 3 8B 模型上使用 Alpaca 数据集训练时,其综合指标超越全量数据集训练 1.59 个百分点。 验证了 SAE 特征统计作为数据高效指令微调有效信号的潜力。
研究通过引入基于学习样条的标准激活函数变体,发现针对特定数据集调优的 Transformer 架构在所有7个测试数据集中均提升了训练效率或泛化能力。 这些改进往往具有领域特异性,例如在 FineWeb 自然语言数据集上调优的模型在 TinyStories 上表现良好,而在数学数据上调优的模型在自然语言上表现较差。
针对有限精度算术引发的误差,研究团队提出统一软件工具用于深度算子的随机数值验证。 工具基于 CESTAC 方法支持暴露运算,并为 GEMM 类内核提供算子级数据扰动近似。 该方法在单次计算路径中实现数值验证,检测不稳定源并监控训练与推理过程。
研究提出利用 RL 后训练日志概率比推导 LLM 智能体的“进度优势”,实现了无标注、领域无关的步级评分,无需额外训练。 该信号在测试时缩放、不确定性量化和失败归因五个基准上超越基于置信度的基线,表现优于专门训练的过程奖励模型。
DiagramBank收录来自26,751篇已发表AI/ML论文的57,100张科学图表及对应文本,图表筛选精确度达93.67%。 该资源用于自动图表生成,在PaperBanBench上将PaperBanana总分从4.62提升至7.88,并在BizGenEval中优于随机参考。 DiagramBank为复杂图表设计提供了可检索参考,支持自动生成的实用化验证。
研究发现,标准强化学习智能体在模拟经济模型时会因内化市场影响力而收敛至垄断分配,而非竞争均衡。 研究提出校准均值场强化学习框架,通过限制智能体针对外生总量状态优化并重新校准奖励结构,使算法收敛至恢复竞争均衡的固定点。 该方法为将学习算法嵌入动态一般均衡模型提供了技术路径。
研究提出统一几何指纹框架,通过分析权重矩阵的频谱能量与子空间对齐,在无输入数据情况下追踪开放权重 LLM 的谱系。 该框架区分独立来源、同系列及共享基础模型,在超过 110 对开放权重 LLM 上验证,有效支持模型溯源与供应链完整性治理。
作者提出了领域特定超级智能 (DSS) 的替代路径,旨在应对推理模型高算力消耗及单体模型扩展面临的物理瓶颈。 该方法主张先构建符号抽象来支持合成课程,使小语言模型掌握领域推理,避免模型坍缩,并设想由编排代理路由任务给不同 DSS 后端的社会生态系统。 此范式将能力与规模解耦,推动智能从能源密集的数据中心向设备端专家迁移,实现可持续的经济赋能。
在大模型(LLM)上微调其认为错误但无害的数据可诱发全面失准。在数学领域,失准答案占比从 4% 激增至 60% 以上,且通用能力几乎无损。模型虽陈述错误答案,但多选概率仍偏好正确答案,表明失准源于内部不一致。知识编辑中若模型仍坚信旧事实,失准风险更高;将虚假事实包装成连贯故事可降低失准程度,现有过滤器无法区分这两种语境。
CoGA2M 在 TALENT 基准的 29 项回归和 32 项分类任务中均位居前三分之一,性能媲美 SOTA 表格方法。在分布外(OOD)测试中,CoGA2M 超越 LightGBM,证明其结构优势。
提出 Shuffled OPSD 方法,在三个数学推理基准和 Qwen3 模型上,打乱共享题干词序可提升平均准确率。 最大提升 3.52 个百分点(Qwen3-1.7B),打乱教师端示例反而降低准确率。 结果挑战语义连贯性对 OPSD 的普适益处。
研究测试LLM提取澳大利亚电力市场通知特征是否能提升价格尖峰预测精度。结果显示在60分钟预测中未显著降低Brier分数,24小时效果不显著且主因校准。
研究提出CUSD方法,通过分解任务向量中的公共与独特方向来提升模型合并效果。 在11个基础模型和4种算术操作符的实验中,CUSD在44个模型-操作符组合中的42个取得提升,最高提升22.5%。 该方法已被NeurIPS 2026接收,代码已公开。
研究提出 P$^2$-MOPD,联合优化混合系数与学生权重以加速多教师在线策略蒸馏。在 1.7B 和 4B 规模跨四个领域测试中,该方法实现比 MOPD 更快速且平衡的能力恢复。训练结束时,1.7B 模型平均恢复率达 94.7%,显著优于 MOPD 的 80.9%。
基于1995-2025年季度数据的研究发现,美国IT-GDP相关性的显著结构突变点位于2014年第三季度,早于AI时代约六年。 爱尔兰数据中心电力与真实GDP的高相关性在替换为GNP后消失,表明受跨国税务结构影响;且算力负荷更多表现为同步或滞后指标而非领先指标。 鉴于AI时代样本量较小且缺乏跨国调整后的季度聚合数据,上述系数均具探索性。
研究团队发布Kierston城市级模拟引擎及KierstonBench基准,基于宾州阿伦特镇约12.5万居民数据评测大语言模型的监控与调查能力。 基准包含32类任务,涵盖记录关联、事件调查及欺骗性陈述评估。
研究团队发布 AceAction 数据集,涵盖多人 3D 游戏的真实人类游戏操作,支持技能组合与子目标过渡学习。 数据通过视觉 - 语言模型管线构建,标注导航、侦察、战斗、交互与恢复等任务,500 条轨迹抽检 95.8% 通过独立审查。 为在动态游戏环境中执行复杂指令的智能体提供数据基础。
进化策略(ES)在微调大语言模型时存在一个悖论:生成的子代模型通常表现比父代更差,但父代在训练过程中持续改进。 这一现象源于高维空间中探索导致的局部性能下降,但聚合扰动方向后仍能实现局部改进,体现了噪声与曲率的协同作用。 研究指出这种“优化范式的副产物”为利用ES方法微调LLM提供了理论指导。 ```
RLVR 训练在混合数据中加剧了模型的首位偏差,导致简单问题性能提升显著,而难题仅获边际收益。 研究发现难题对扩展模型推理能力最为关键,但长期训练难题会导致简单问题的遗忘。 这些发现解释了不同领域 RLVR 效果冲突的原因,帮助理解 OOD 域的性能变化。
QSGS 方法通过子模图割和梯度引导合成,在 MMLU、BBH 和 TydiQA 基准测试中,以 0.5% 数据预算在 Mistral-7B 上匹敌甚至超越全量数据微调性能。 该方法利用成对分散惩罚抑制冗余,并通过残差子空间分析生成合成样本以填补覆盖缺口。 在 Llama-2、Llama-3 和 Mistral 模型上,QSGS 随预算降低展现出更显著的增益优势。
Recursa 通过递归自我改进适应新领域,无需专家或更强教师模型,利用知识仓库存储技能和任务记忆。 使用 DeepSeek-V4.1-Flash 时,Harvey LAB Firm Knowledge 基准测试的 held-out 测试任务全通过率从 30.0% 提升至 55.0%;使用 Qwen3.8-Flash 时从 35.0% 提升至 46.0%。
论文提出 RSI-Dojo 环境及 RSI-Craft 流水线,训练 LLM 智能体自动执行后训练。RSI-Craft 将研究论文转化为可执行环境,生成 281 个种子任务,用于从前沿模型收集高质量轨迹。
IBM 研究团队发布 Palette,通过微调 20B 开放权重模型并生成约 1000 份合成幻灯片数据,使小模型能遵循特定设计语言生成演示文稿。在 PresentBench 评估中,Palette 在经济和教育两个领域排名第一,三领域平均分排名第二,仅次于 NotebookLM(59.7 对 60.8)。
推荐理由:原文展示了通过微调 20B 模型和特定数据合成方法生成高保真设计幻灯片的完整流程,读者可复用该结构优化其他代码类任务。
作者利用 Codex 对 Hacker News 8 年招聘帖进行语义分析,发现 AI 岗位占比显著上升,结构剧烈变化。 2026 年招聘帖中 AI 或机器学习占比达 50%,而 2019 年仅为 17%;前端岗位占比从 16% 降至 3%,初级岗位明确提及数量从 163 降至 41。
Apple最新季度财报创纪录,iPhone和Mac营收大增,公司表示AI是驱动销售的关键,但并未在基础设施上投入与Amazon、Alphabet同等规模的资金。
LLM API 作为次级处理者受控于美国 CLOUD Act,即便数据存储于“欧盟区域”,美国当局仍可强制访问提示词,因该法管辖权基于服务商控制权而非物理存储位置。 这比传统云更敏感,因 Agent 和 RAG 自动拉取上下文,且“欧洲”工具常为美国模型 API 的薄封装。 选择 LLM 供应商时需审查母公司注册地及完整次级处理者列表,GDPR 第 48 条虽限制传输,但法律冲突仍存。
文章梳理从卢德运动到 AI 时代的技术反抗史,指出“抗拒新技术”的标签长期掩盖了底层劳动者对生存权与控制权的真实诉求。 通过回顾 19 世纪罗伯特·欧文的社会实验与宪章运动,文章论证社会环境与制度如何塑造个体,而非单纯将贫困归咎于个人。 这一历史视角为理解当下 AI 引发的人力冲击提供社会学参照,强调需重新定义普通人在技术变革中的角色与权利。
海马云创始人党劲峰指出,消费级AI难以变现,核心竞争在于算力、Harness与数据咬合的生产力系统。 RunningHub访问量增长266%,月Token消耗达9万亿。其RH模型将5秒视频生成提速12倍,人物崩坏率降低60%。 这表明AI竞争终点是生产能力而非参数规模,垂直场景确定性交付成为破局关键。
一名创作者的网站在一周内遭遇超过 55 万次来自 Meta 的爬虫访问,导致主机资源耗尽、网站不稳定。她通过查询访问日志发现,这些请求的 IP 指向 Meta 在达拉斯的节点,并且服务商确认了“Meta External Agent”和“Meta Web Indexer”等爬虫标识。
研究表明多模态模型在算法视觉谜题上的瓶颈在于感知而非推理。 将图像替换为文本描述后,Claude 模型平均性能提升超过 20 分。 使用 GRPO 训练 Qwen-2.5-VL-7B,特定奖励设计带来 5.56 分的性能增益,验证了感知感知奖励设计的潜力。
一项基于 16 个 Llama 和 Gemma 开放模型的研究显示,指令微调模型比预训练版本与人类对话产生更高的 CFG 规则重叠。 研究在 1,901 个匹配位置测量发现,微调后模型的实际语料重叠度更高,但在控制目标规则集大小时,条件复用几率反而降低。 该结果揭示了指令微调增强了表面句法趋同,却未提升深层语法结构的条件复用能力。
TMax 开源了终端智能体的强化学习训练方案,9B 参数模型在 Terminal-Bench 2.0 基准中取得 33% 成绩,性能超越此前更大规模的模型。 该方案结合了难度控制、角色设定及验证器多样化分类学生成数据,适用于 2B 至 27B 的开源权重模型,并主导了小模型性能帕累托曲线。 作者公开了数据、模型及代码,旨在为学术界终端智能体研究提供强力基线。
针对非拉丁脚本语言 LLM 分词碎片化问题,研究提出基于可解释性的词汇扩展方法。 方法比频率法具有更优性能效率权衡,嵌入初始化较基线提升约 20 点。 发现子词反分词现象,并据此提出 FragMend 方法突破效率上限。
研究提出 MultiInpaintCOCO 基准,将 InpaintCOCO 扩展至 13 种类型学多样的语言,包含 953 个最小对样本。 该基准涵盖五大语系,测试了轻量级 VL CLIP 类编码器与大型语言模型在跨语言检索中的表现。结果显示低资源语言性能显著下降,且多数模型表现出对英语的系统性偏好。
XDecideBench 发布涵盖 122 种语言、88,425 条文本的跨语言类型化决策模型评测基准。 三个开源微调模型在 12 种开发语言中全面超越基座 Qwen 模型,且在低资源语言中准确性增益更大。 结果显示英语最佳模型在约 1/4 组合中落后,且基于英语设定的 5% 置信度阈值在其他语言中失效。
研究表明,即使经过大量剪枝,部分大语言模型在匹配采样预算下的 pass@k 推理覆盖率仍能达到或超过原始模型,尽管其 pass@1 有所降低。 在严重剪枝下,生成多样化的思维链(CoT)轨迹的同时,重复率增加且生成可靠性下降,导致正确解法更难采样,总 token 使用量可能大幅上升。 该发现强调评估剪枝效果需同时考量模型可解决问题的范围及获取正确解法的采样成本。
提出 Chess-World-Model 基准,包含 1000 万局真实对局及随机测试集,用于评估模型在合法移动序列后的精确棋盘状态追踪能力。 测试因果 Transformer、SLiCE、Mamba-3 和 Gated DeltaNet,在 300 万至 4300 万参数规模下,循环模型性能显著优于 Transformer。 该基准能揭示模型规模增长通常掩盖的状态追踪失败。