跳到正文
10月13日周二
  1. LessWrong · All Posts40

    基于仅使用 1931 年之前文本训练的 13B 模型 Talkie 的人格实验

    研究人员在仅用 1931 年以前文本训练的 13B 模型 Talkie 上开展人格实验,发现其可通过微调恶意格言泛化出广泛错位回答,并与 Llama-3.1-8B 等模型进行对照。 该模型在《圣经》经文等窄数据集上出现错位,其偏好(如选雨而非热食)具有可引导性,且现代监督微调能使其行为更接近网络版模型。

  2. Seven Minute Feed56

    韩国Kospi指数大跌7%:中国CXMT新内存产品冲击相关股票

    韩国Kospi指数盘中下跌超过7%至7月31日以来最低水平,SK海力士和三星股价领跌。中国内存厂商CXMT表示其在更密集的DRAM架构上取得进展,计划于今年年底推出一款服务器内存产品。Kospi指数是上半年全球表现最好的主要市场,但随后已下跌约24%,是下半年跌幅最大的市场。投资者正在将人工智能相关投资从韩国内存制造商转向更广泛的台系硬件供应链,台湾指数年内已上涨约70%。

  3. IT之家56

    马斯克谈中国制造:一旦掌握,扩产能力往往能超越全球总和

    埃隆·马斯克在X平台评论,一旦中国掌握某种产品的制造方法,其扩产能力往往能超过世界其他地区总和。他提及长鑫存储目前全球DRAM市场营收份额约为9.5%,虽4F² DRAM技术主要针对传统DDR5而非HBM,但中国在锂电池和太阳能产业已有类似成功经验,而新一代HBM架构和3D内存技术因冷却逻辑电路难度将更难攻克。

  4. Hacker News AI85

    AWS 发布论文 Priming,利用预训练 Transformer 权重低成本构建混合状态空间模型

    AWS 团队在论文 Priming 中提出利用预训练 Transformer 权重初始化混合架构,将预训练成本降低 99%。研究对比了 Gated KalmaNet、Gated DeltaNet 和 Mamba-2 三种状态空间模型,发现 Gated KalmaNet 在长上下文推理中表现最佳,且支持可变推理计算时间。

    推荐理由:AWS 团队提出 priming 方法并开放模型代码,将混合架构预训练成本降低 99%,开发者可基于现有权重快速探索不同内存与速度平衡点。

  5. IT之家45

    彭博行业研究分析:在美国得州建设 1GW AI 数据中心成本约 307 亿美元

    彭博行业研究发布简报指出,在美国得克萨斯州阿比林市建设一座 1GW 数据中心的总开销可达 307 亿美元。 核心硬件(芯片和服务器)占据 171 亿美元,电力供应基础设施消耗 30 亿美元,冷却系统费用为 16.6 亿美元。 该成本预估综合了 Cushman & Wakefield 的数据及彭博内部分析。

  6. 量子位65

    2026年物理AI融资近480亿美元,产业链加速向通用大脑与数据设施集中

    全球机器人和物理AI企业2026年累计融资接近480亿美元,其中Anduril、NEURA Robotics和Physical Intelligence三笔大额交易占第二季度总额的39.8%,显示资本向头部平台集中。

    推荐理由:文章通过拆解480亿美元融资流向与Dyna-2预训练实验,揭示资本正从本体制造转向通用大脑与数据基础设施的深层逻辑。

10月12日周一
  1. LessWrong · All Posts42

    More research needed?

    文章估算当前全球有约600万名全职学术研究人员,自1900年以来累计投入约1.5亿研究者-年的学术科研时间。 基于OpenAlex数据推算,2023年核心期刊发文量达300万篇,平均每篇论文对应1至4名全职研究人员。 若AGI算力持续扩张,现有算力可驱动数亿个AI研究员,潜在科研产出将远超人类当前总量。

  2. IT之家33

    国家铁路局发布《铁路科技创新“十五五”规划》:推进时速 600 公里高速磁浮技术研究

    国家铁路局发布《铁路科技创新“十五五”规划》,明确推进时速 600 公里高速磁浮技术研究及国产化关键试验。 规划同步部署时速 400 公里列车基础技术与 CR450 动车组系列化研发,以构建匹配的技术与检修体系。 深化“人工智能 + 铁路”应用,旨在建立铁路专用人工智能模型实现智能决策。

  3. IT之家71

    报告称AI普及致美国初级程序员就业下降约20%,专家警告十年后恐无高级人才

    美国初级程序员就业人数自生成式AI普及以来下降约20%,而高级职位招聘占比达71%,AI相关岗位增长显著。Indeed Hiring Lab数据显示软件开发职位发布量逆势增长15%,但初级岗位减少导致应届生入职难度增加。专家警告若雇主不建立人才管道,十年后将面临高级人才短缺。

  4. arXiv · AI27

    VITAL:面向医疗 MLLMs 的增强且可解释的潜空间推理视觉-语义双重监督

    VITAL 提出一种视觉-语义双重监督的潜空间推理框架,用于提升医疗 MLLMs 的可解释性。 该框架包含辅助文本解码器与视觉投影器,在推理时零开销丢弃,可事后重新附加以实现双重可解释性;实验基于 7 项基准,性能优于骨干网络、潜空间推理基线及更大数据训练的医疗 MLLMs。 结果达到 SOTA,与万亿参数专有模型具有竞争力。

  5. arXiv · AI26

    ITO:面向图文预训练的多视角对齐与训练时融合框架

    ITO 框架通过多视角对齐与训练时融合优化图文表示,在 100M-1B 规模上性能超越 CLIP。 框架利用多视角数据增强提供判别增益,轻量融合模块在训练时作为正则化项,推理时丢弃以维持双编码器效率。 融合贡献随数据规模增长而增加,能稳定优化过程并缓解后期过拟合,相关代码已开源。

  6. arXiv · AI25

    Qwen3-8B 多执行框架强化学习在 SWE-bench Verified 上的增益与依赖研究

    基于同一 SFT 检查点训练两个 Qwen3-8B 变体,发现多执行框架强化学习在 SWE-bench Verified 上带来有限增益。 Cross 归一化比 Within 平均多提升 0.29 个百分点(0.77 vs 0.48),但未在未见框架中持续优于 Within 规则。 模型在不同执行框架间的表现差异(7.13 个百分点)远大于训练增益或归一化规则差异。

  7. arXiv · NLP25

    翻译文体如何塑造语言模型学习

    研究揭示机器翻译数据中的翻译文体显著影响小型英文语言模型的学习。模型在24种类型多样、资源差异大的源语言翻译数据上训练,一般困惑度主要受翻译语料词汇多样性驱动。 语法表现则与源语言同英语的类型学相似度强相关,前提是训练数据量充足。甚至翻译质量本身也是语言建模性能的强预测因子。

  8. arXiv · NLP27

    低资源 ASR 中数据增强的成本与互补机制分析

    该研究在低资源 ASR 场景中对比了 SpecAugment 和基于文本的数据增强方法,发现二者在音素级错误上具有互补性。 SpecAugment 会增加声调和腭化错误,而文本法引入辅音插入;组合使用时,基于文本的方法使低频音素频率提升 37%-38%,抵消了对方的错误。 这种超加性效应仅在 100 小时数据以下的低资源阶段显著存在,建议通过训练暴露度和声学特性来预筛选增强策略。

  9. arXiv · AI41

    TQS 框架:基于结构评分筛选编码智能体轨迹以优化 SFT 数据

    提出 TQS(轨迹质量分)结构评分框架,无需 LLM 评判且线性时间运行,用于筛选编码智能体轨迹以提升 SFT 效果。 TQS 基于 155,144 条成功轨迹,通过信息聚焦、意图-动作对齐等结构信号排序;筛选出的高质量轨迹训练模型在 SWE-Bench-Verified 上优于随机子集,提供比 LLM 选择更有效的扩展替代方案。

  10. arXiv · NLP36

    针对 LLM 预训练数据的宿主感知网络爬虫研究

    研究指出,LLM 预训练数据中约一半分类器分数差异发生在不同网络宿主(host)之间。 结合文档级质量分数、Web 图谱中心性指标和 Common Crawl 覆盖数据,模拟显示基于采样的深度爬取比均匀分配高效数倍。 Common Crawl 的中心性指导分配增益有限,且大量高质量页面仍集中在少量已知但未爬取的 URL 上。

  11. arXiv · AI30

    RGR 缓解 LLM 自我提升中的能力退化

    大语言模型在 On-Policy Self-distillation 训练中会出现能力退化现象,表现为早期正确响应的查询变得错误。研究提出 Representation Geometry Regularization 方法,通过鼓励簇内紧凑和簇间分离来保持隐藏表示几何结构。该方法无需改变核心优化流程,能缓解退化并保留能力提升。

  12. arXiv · NLP43

    弹性隐式循环(ELR)消除单循环延迟成本,Koi-4B 四循环达到29分

    研究提出弹性隐式循环(ELR)方法,消除单循环模型的“税收”,使其精度与同规模非循环模型持平。 通过门控状态更新和混合深度训练,4B与30B-A3B模型单循环性能分别偏差-0.52和+1.04分,四循环显著提升7.25和4.75分。 衍生出的Koi-4B模型在单循环时得分18,四循环时达到29分,匹配Qwen3.5-4B性能。

  13. arXiv · ML29

    SecTB-RTL:审计 AI 生成 RTL 验证计划的安全回归框架

    SecTB-RTL 框架覆盖 31 项任务及 124 个安全回归,非 AI 基线在资源限制下杀死 36、75 和 78 个变异体。 首次运行因 schema 问题失败,修复后 1,860 次调用中仅 9 次通过生产级验证器,确认 provider 接受不等于执行有效。 该事故揭示了基础设施行为与模型行为的混淆风险,已发布基准及治理控制机制。

  14. arXiv · ML33

    UxSID:面向超长序列的语义感知用户兴趣建模框架

    研究团队提出 UxSID 框架,利用 Semantic IDs 和双层注意力策略,实现语义分组共享兴趣记忆,在大规模广告 A/B 测试中带来 0.337% 的收入提升。 该框架通过端到端架构平衡计算效率与语义感知,避免了项目特定模型的高昂成本,在超长用户序列建模中取得最先进的性能表现。

  15. arXiv · ML26

    非平稳加权风险最小化方法在分布漂移下的快速收敛速率

    该研究提出了非平稳场景下加权经验风险最小化的样本外预测误差分解框架,将超额风险拆分为学习项和分布漂移项,并在混合条件下证明了学习误差的预言不等式。 学习界均匀适用于任意权重类,且结合了权重向量诱导的有效样本量、权重与假设类的复杂度。漂移分析聚焦于平方损失设定,针对结构断点和平滑漂移过程提供了显式界,最优权重表现为学习项与漂移项之间的偏差-方差权衡。