GPT-6 Astra 通过直接编辑权重优化 Qwen3.5 模型性能
GPT-6 Astra 通过修改 0.016% 权重使 Qwen3.5-0.8B 的 MATH-500 准确率从 7.9% 提升至 48.1%。 该方法无需重新训练,还能识别模型缺陷如“思考循环”,但无法补充模型本身缺失的技能。 研究者认为此技术可用于安全审计,已开源实验日志及编辑后的模型。
GPT-6 Astra 通过修改 0.016% 权重使 Qwen3.5-0.8B 的 MATH-500 准确率从 7.9% 提升至 48.1%。 该方法无需重新训练,还能识别模型缺陷如“思考循环”,但无法补充模型本身缺失的技能。 研究者认为此技术可用于安全审计,已开源实验日志及编辑后的模型。
Indegene 在 AWS 上的 NEXT UDP 平台构建 LLM 驱动的数据质量智能体,生成上下文感知的数据质量规则并产出可运行的 SQL 和 Python 代码。 该智能体支持集中式人工介入治理,解决了传统技术规则与业务规则脱节、静态校验无法捕捉业务背景的问题。 此举帮助生命科学企业提升数据质量扩展性,降低数据工程维护工作量。
美国中期选举结果凸显数据中心面临更严格监管,全国 45 项地方公投中 33 项限制了数据中心发展。NBC 新闻调查显示 76% 的受访者反对在所在社区建设数据中心,部分州级民选官员支持暂停建设或限制大型设施,导致该领域未来扩张面临更高政策门槛。
StartLux-Decision 通过按需推理(AutoThink)与强化学习(RLCD²),在 7,800 道决策评测中实现 27B 模型约 93% 的推理准确率。
summary_zh: Airlock 是一款基于 HARP 规范构建的企业级 AI 智能体授权工具,通过加密拦截与人工签名确保敏感命令的安全执行。 系统采用 AES-256-GCM 加密通信,使用 Ed25519 签名验证决策,支持 Android/iOS 移动端审批及本地部署,具备防重放和零知识网关特性。
Daybreak Red 通过 Amazon Bedrock 将 GPT-5.6 Cyber 提供给 AWS GovCloud (US-East) 的获批客户,用于授权的网络安全工作。 该服务面向特定政府云环境提供,仅限授权客户使用。
Ben Thompson 撰文分析美国中期选举结果,指出民主党获胜反映了对AI数据中心的广泛反对,这一政治约束正在取代电力成为AI扩张的主要瓶颈。作者推演了十种深远影响:Nvidia 在算力受限下因能效优势获利;中国凭借电力优势实现以电换算;Spacex 太空数据中心成为长期备选;前沿实验室因外部要求放缓研发支出而获利;苹果及端侧推理受益;而 AI 初创公司则因算力获取困难而受损。
Pacibook 是一款面向印度的 AI 电子书店及阅读器,支持将书籍内容即时翻译成 22 种印度语言,并允许读者在阅读时实时提问获取答案。 其核心功能为交互式阅读,AI 生成的译文自适应且绝不过写原书,用户可随时切换回原文,同时提供按类别浏览和个性化推荐服务。
Snowflake 的 AI_PARSE_DOCUMENT 上线了 Agentic 模式,能识别文档中的图表并生成语义摘要。作者实测发现其成本约为传统 OCR 模式的 12 倍,且 PPTX 文件的价值提升明显,而 PDF 文件则很少产生有用的视觉内容。作者最终决定仅对 PPTX 文件使用 Agentic 模式,其余文件继续采用 OCR 模式。
用户询问如何在 ChatGPT Plus、OpenRouter 等服务商间切换时,保留其基于 Claude Code 构建的 AI 人设、智能体及工作流。 该工作流将数据、问题与想法存储在自托管的 Forgejo Git 仓库及单一定板中,以应对 Claude 每周 Token 耗尽或更换服务商的场景。
谷歌宣布从 2027 年初起,学校的 Gemini、Gemini Notebook 和 Google Search 将默认关闭,需单独开启,但不提供无 AI 的搜索版本。该政策背景是谷歌近期在 Classroom 平台默认开启 AI 功能后引发争议,目前提供搜索(含完整 AI 摘要或聊天)或引导学习模式两种选择。纽约市和洛杉矶等学区此前已要求提供无 AI 搜索功能。
天数智芯在上海开放日上展示了最新端侧算力终端彤央TY1200,其300 TOPS稠密算力实测性能超过英伟达Thor T500,并首次实现GPU加速物理仿真引擎本地运行。在LLM生成测试中,TY1200运行Qwen3.8-27B-AWQ的吞吐达到Thor的1.38倍;同时通过Agentic AI软件栈,将原本需10人天的Kernel开发缩短至1小时级别,并预告了标称600T算力的下一代产品。
AMD 与 FuriosaAI、MangoBoost 签署备忘录,将于明年春季在首尔构建首个异构 AI 计算参考集群。 该集群集成 AMD CPU 与 GPU、FuriosaAI RNGD NPU、MangoBoost BoostX DPU,旨在优化 AI 负载硬件搭配。 MangoBoost 还计划在其 AI 工厂采用 AMD Instinct GPU 加速器。
Drax与Brookfield及Radiant达成协议,将在其北约克郡电厂建设超1GW数据中心,预计2028年初投入运营。该英国最大数据中心项目预计吸引超200亿英镑投资,初期由Drax提供土地和电网连接。作为英国最大CO2排放源,该合作将英国AI发展与其最污染电源直接关联。
全球五大半导体设备制造商(ASML、Applied Materials、Lam Research、TEL、KLA)已进入 2028 年设备供应合同最终敲定阶段。部分厂商已启动 2029 年供应谈判,韩国企业正提前 2~3 年审查供应计划,设备缺货或蔓延至后端工艺。 AI 算力需求激增导致芯片产能扩大,设备交付周期大幅延长,现有前端缺货状况正向后端工艺延伸。
EchoKV 提出了一种灵活的 KV Cache 压缩框架,支持在完整缓存与压缩缓存之间按需切换,避免修改模型投影。 该方法利用轻量级网络从部分子集重构被丢弃的 KV 分量,仅需在单张 A100 GPU 上对 Llama-3.1-8B 进行几分钟的两阶段微调。
PersonaFuse 提出一种情境感知的大模型行为自适应后训练框架。 该框架基于特质激活理论和大五人格模型,采用混合专家架构与情境感知路由机制,根据任务上下文动态调整模型行为。 在能力、工作流和部署三个层面评估显示,该框架在保持通用推理、交互质量和安全性的同时,提升了企业场景下的任务完成率。
开源插件 vLLM Hook 发布,允许通过配置捕捉和干预 vLLM 模型的内部状态,实现被动探测与主动干预。 版本 1(vLLM Hook MIA)基于 vLLM V2 模型运行器,保留 CUDA 图,显著降低解码开销,支持离线使用与 vllm serve 服务。 该插件支持提示注入检测、幻觉检测、激活转向等用例,扩展了推理引擎的可编程性。
针对大语言模型本地部署场景,研究提出名为 Bevy 的新推理系统,通过跨层前瞻的请求调度取代传统的专家预测预取。该方法在请求专家可用时先执行至后续层,再并行获取缺失专家,实现计算与通信重叠。在两个本地测试平台上,其解码吞吐量最高可达其他预取方法的 3.46 倍,且无需额外维护预测模型。
该研究提出名为INSIGHT-HPC的异常检测架构,旨在分析高性能计算集群的遥测数据以识别基础设施异常。系统通过结合统计、工作负载感知和物理引导证据,实现了0.862的F1分数。其结果展示了融合工作负载背景与可解释性在检测中的价值。
该研究系统分析深度学习编译器架构,并通过实证评估揭示其性能特征。 基于 PyTorch/TorchInductor 与 NVIDIA RTX A6000 的测试显示,编译器收益依赖工作负载,融合友好计算图最高加速 8.21 倍。 动态形状编译将形状转换成本降低约 70%,但会导致轻微的稳态性能下降。
ModelBlaster 提出 Memory-Augmented In-Context Reinforcement Learning (MAIC-RL) 框架,利用持久知识库跨 CUDA、OpenCL 及 RISC-V 硬件复用优化经验。
针对有限精度算术引发的误差,研究团队提出统一软件工具用于深度算子的随机数值验证。 工具基于 CESTAC 方法支持暴露运算,并为 GEMM 类内核提供算子级数据扰动近似。 该方法在单次计算路径中实现数值验证,检测不稳定源并监控训练与推理过程。
针对企业采购 AI 推理排放核算缺失问题,提出基于 Token 的核算方法,其中间级因子为全球平均电网下每百万计费 Token 排放 0.039 kg CO2e。
该研究提出首个支持跨模型 KV 传输的异构服务系统 CacheBridge,通过将紧凑映射器与在线多模型服务协同优化,显著降低模型切换时的延迟与内存开销。 在 Qwen3 14B 到 32B 的代理服务场景中,系统在 1 到 24 QPS 下将平均首字延迟降低 30% 至 98%,任务成功率与重新预填充相当。
论文提出 Qrita,一种基于枢轴截断与选择的 GPU Top-k 与 Top-p 采样算法。 该方法采用基于高斯分布的截断(Gaussian-based $\sigma$-truncation)和带重复值处理的四叉枢轴搜索(quaternary pivot search)。
研究表明,Claude Opus 5.5 在盲审模式下成功识别并修复了 16 个含缺陷临床网络中的 16 个,仅通过中位数 3 个参数修改实现修复。 该模型在 18 个缺陷网络中准确指出了 16 个错误规则,所有发现均通过约 42 万次请求测试验证,证明小网络中权重空间编程可定位阈值偏移等缺陷。
针对循环 Transformer 中 KV 缓存随循环步长线性增长导致内存瓶颈的问题,LoopVQ 提出一种低于 1 bit 的 KV 缓存向量量化方法,并在 Ouro 和 Huginn 模型上实现 0.5 bit 每元素的精度保持,甚至在 0.25 bit 时结合 TaSQ 仍能保留大部分 BF16 准确率。
针对 LLM 推理解码中通信结构固定的特点,提出负载静态光电路交换(OCS),将电路配置与模型并行化协同设计。 基于 GXNET 模拟器在 576 加速器域评估 5T 参数 MoE 模型,全 OCS 架构较 4:1 超配包交换网络交互性提升 65%,能效提升 119%。
针对大语言模型推理的在线调度问题,研究证明 cμ 优先级规则在流体模型下能最小化累积等待成本,并最大化全程输出 token 吞吐量。 该规则的有效服务速率由计算速度、内存带宽和容量共同决定。在 NVIDIA H800 上对真实推理引擎进行的实验表明,该策略能在保持高吞吐量的同时显著降低平均延迟。
Anchor 模型在 Llama-3.1-8B 和 Mistral-7B 上实现了比 LoLCATs 高 2.3-3.1 倍的召回率和 6.7-8.9 点的 MMLU 准确率提升。
GC-MoE 发布开源 FP8/FP4 MoE 推理算子,利用 CUDA Green Contexts 将 GPU 划分为通信与计算分区,实现 dispatch 与 GEMM 独立并行。
FlagRot 提出了一种选择性旋转方法,用于低比特 KV 缓存。在 2.5 bits/value 下,它将 12 个模型的 KIVI KL 散度从 18.7 降至 12.4 × 10⁻³。 该方法在 9/12 个模型上优于 RotateKV,并在 4 个模型中的 3 个上通过 vLLM 插件提升了 RULER 和 LongBench v1 性能。
该研究通过查询路由动态分配 LLM 推理任务,在保障服务的同时提供电力需求灵活性,验证误差为 2.8%。 框架涵盖 1B 至 70B 参数模型及四个 GPU 平台,在 10,000 块 H100 集群模拟中实现最高 16% 的电力灵活性,响应时间约 10 秒。 结果显示查询路由是数据中心电力调度的有效机制,框架可应用于更广泛的规划与编排。
FP4Quant 提出微分组 FP4 压缩框架,在 Qwen-7B 模型上较 BF16 实现最高 1.56× 端到端吞吐量提升。 该框架包含微分组双尺度量化、warp 协作 FP4 打包及混合两级 FWHT 流水线,以优化 GPU 执行并降低量化误差。
针对混合供应商加速器集群,LEAP 基于提交时配置预测吞吐量并按单位成本排序,日均路由数万次任务,覆盖 20 余种硬件类型。 在 30 次夜间重训练中准确率 77%,优于原有查找表;六个月内覆盖占比由 58% 升至 95%,预计节省约 3% 训练计算成本。
ROCm InferaSim 通过预测 LLM 服务性能来降低配置试验成本,在 AMD Instinct MI355X GPU 上仅需 9.1 GPU-hours 获取 11 个锚点,替代原本需要 204 GPU-hours 的完整测量。
本文提出基于最优传输对偶问题的高效算法,计算多草稿推测解码(MDSD)在千级词表下的理论最优接受率。 研究首次量化现有验证算法与理论上限的差距,发现无放回采样的最优接受率优于有放回采样,且现有算法均未达到理论上限。 结果表明精心设计的草稿采样方法可提升接受率,并为逼近理论上限的验证算法开发提供方向。
自然梯度下降因修正曲率而受限于梯度与数据相关性,新方法将其中一项修正从优化器移除并嵌入网络。 该方法以无矩阵求逆的递归动态实现去相关,且仅需突触局部信号,无需矩阵分解。 此技术显著提升生物启发式信用分配效果,并适用于神经形态硬件与分布式物理受限系统。
Conn3x 发布了支持一键部署私有 RAG 系统的功能更新。该工具在 DigitalOcean 上通过一条命令创建 Ubuntu Droplet,并配置 Ollama 和 Qdrant,实现了数据不出本地的私有检索增强生成架构。