TRACE 减少临床记录冗余以优化 LLM 使用
TRACE 利用 EHR 元数据去除临床记录中的模板和重复文本,在5.3M 份记录的四个队列中捕获了86%的标注模板字符,移除文本中仅0.3-6.6% 被标记为作者生成。
TRACE 利用 EHR 元数据去除临床记录中的模板和重复文本,在5.3M 份记录的四个队列中捕获了86%的标注模板字符,移除文本中仅0.3-6.6% 被标记为作者生成。
LISA 提出一种即插即用的自注意力替代方案,将长链式思维推理的计算复杂度从序列长度的二次方降低为线性。该方法结合线性注意力分支与 Lightning Indexer,通过动态稀疏选择优化计算资源分配。 在基于 Qwen 的实验中,LISA-1.5B 模型在 16K 上下文下将平均样本延迟降低 23.9%,同时在九项数学与代码推理基准测试中,其平均准确率比全注意力基线提升 4.2 个百分点。
研究证明混合专家模型(MoE)解码中的通道选择无需校准数据。Top-k 方法在 13% 和 18% 预算下,于 43 次对比中的 40 次表现优于或等于阈值法。 该方案在 Gemma 4 上避免了循环崩溃,且基于权重的读取器在 17.8% 的读取率下保留了 98.1% 的完整模型精度。Triton kernel 在批量为一时比 vLLM 快 1.60 至 1.90 倍。
针对量化条件内存中基于访问频率优化反而变差的问题,GateRQ 利用门控信号决定检索精度,无需重训即可运行。 在 DeepSeek-V4.1-Flash 上,GateRQ 使 GPU 表内存减少 7.8 倍,vLLM 吞吐量提升 11%-31%,且 PopQA 分数仅损失 1 点。
AgentBaton 采用“强模型到高效模型”的接力策略,在 11 个模型组合及两个基准测试中,平均降低 65.9% 的 API 成本,任务准确率基本保持甚至提升最高 8.8 个百分点。 该轻量级检测器通过识别任务进度中的重复模式,决定何时从强模型切换至高效模型,优化了成本与准确度的帕累托边界。
ResCom 通过低秩修正利用激活舍入残差补偿低比特量化误差,无需梯度训练即可优化输出。在 Llama-3-8B 4-bit 量化下,rank-32 注意力修正使 WikiText-2 困惑度降至 7.147,MMLU 提升 2.89 个百分点。FP32 实现增加 2.25% 预填充时间,紧凑存储版本相比 FP16 减少 27.7% 峰值内存。
研究提出功能秩分配(FRA)方法,在共享秩预算下对 LoRA 适配器队列进行事后压缩。 FRA 通过构建功能秩失真前沿,结合动态规划求解无标签代理,并以光谱提案限制误差,随后执行精确 minimax 分配。 在 78 个适配器的三个公开队列测试中,FRA 在受限预算下改善了最差情况与尾部效用表现。
在20种混合流量场景中,没有单一KV缓存驱逐策略始终最优,WAKMan 作为工作负载感知管理器,通过实时流量自动选择策略,平均命中率比 LRU 高5个百分点。该方案无需识别请求类型或读取提示词,具备最低的均值和最差情况优化差距。
针对 GPU 集群成本高且队列延迟长的问题,研究团队通过开发基于 Nvidia DCGM 的轻量级监控工具,以 100ms 粒度深度分析了某大学集群的 10 天运行数据。
研究发现 Ollama 官方 305 个 GGUF 代码模型中有 7 个(2.3%)低比特量化版本在 HumanEval+ 任务上失效,但重测证实其权重数据完整未损坏。
针对带宽受限与算力不足的资源匮乏地区,云边协同架构利用边缘轻量化模型与云端 LLM 实现多模态临床筛查。 在 20 个多模态病例、500 kbps-5 Mbps 网络条件下,系统实现 98-99% 诊断工具召回率、92-96% 精确率,且 token 成本降低 4-15 倍。 该设计优于纯云端基线,在部署限制下显著提升了多模态数据整合效率与事实依据可靠性。
研究发现单流 WebGPU 大语言模型推理中,单次操作 dispatch 开销而非内核计算主导推理成本。 测量表明 dispatch 成本与数据类型无关,受控融合实验证实在 batch size 1 时瓶颈源于 dispatch 次数。 结论指出优化路径在于减少 dispatch 次数,并推动引擎及 WebGPU 规范实现 dispatch 摊销。
COMPOT 引入一次性动态分配策略,在不同层间自适应重新分配压缩率,实现了比强低秩和稀疏基线更优的质量-压缩权衡。 该框架与后置训练量化完全兼容,支持极端压缩场景。
团队提出一种端到端神经框架,用于预测自由形式 RFIC 无源器件在可变频率和电路上下文下的电磁响应及下游设计性能。 该框架结合频率条件神经仿真器与电路条件神经求解器,输出包含显式电磁响应和互补响应的神经电磁响应。 在由专家设计轮廓和随机路径合成的大规模数据集上,21M 参数模型在几乎所有目标上达到 R²>0.98,评估速度比传统电磁仿真快数个数量级,代码已开源。
该研究利用 Claude Code 将 10 个 PyTorch 机器学习项目从 NVIDIA GPU 迁移至 Google Cloud TPU,结果显示 76% 的 70 次执行尝试失败。
DualPace 提出将 CPU 侧转为独立调度的解码引擎,在保持同等延迟下,吞吐量较 vLLM 提升 11.5%–90.6%。 该运行时通过分离 GPU 与 AMX 加速 CPU 引擎的调度权限实现协同,同时在同等 P99 ITL 下维持较 NEO 高 7.3%–50.5% 的请求速率。
针对 AI 负载带来的高密度直接到芯片液冷(DTC)数据中心,研究人员在 EnergyPlus 中开发了原生对象 ElectricEquipment:ITE:LiquidCooled。
Triage 是一种免训练注意力方法,在 Wan2.2、HunyuanVideo 和 LTX-2.5 上将端到端生成速度最高提升 2.32 倍。 该方法将注意力分为三级:跳过、NVFP4 快速计算或 NVFP4 残差修正。
提出 FlashSO(2) 框架,通过整数 Ozaki 方案下的低精度仿真操作,在吞吐量、精度和内存占用上同时超越 TF32 格式。 该框架将 SO(2) 层吞吐量提升至 MALOQ 参考实现的 40 倍,在 NVIDIA GH200 上维持 236 Tflop/s 有效算力,训练 MALOQ 速度提升 3.9 倍且峰值内存减少 58%。
研究者提出无需训练的 BellowsKV 方法,通过映射相邻层隐藏状态到单一潜变量实现 KV 缓存跨层共享。 在 Llama-3.1-8B、Mistral-7B 和 Qwen2.5-7B 上,BellowsKV-Quant 在 3.6 倍压缩比下保留约 99% 全缓存准确率,13-14 倍压缩下保留 97-98%。 该方法解决了高压缩率下跨层共享缓存精度急剧下降的瓶颈。
研究指出标准扩展定律拟合存在拉什莫恩效应,导致不同参数拟合结果在扩展时产生显著偏差。 该文提出一种确定性分支定界算法,保证获得近似最优的拟合损失,并映射近优参数对应的扩展曲线范围。
研究发现混合专家(MoE)模型中,去重引擎在特定条件下比逐槽位引擎更快。去重加速仅在每轮 5-8 个 token 时生效,此时其字节份额低于带宽比。 该结论基于 Lean 形式化验证及 Metal、MLX-LM、CUDA 实测数据。
FedSEAM 提出一种大语言模型联邦持续学习框架,通过子空间兼容性测试选择性共享专家内容,并在服务器端执行共识方向的子空间专家共识合并以保留客户端特有特征。 该框架利用 Qwen3-4B 和 Llama-3.2-3B 在 TRACE 基准上进行评估,引入路由漂移与合并擦除防护机制,其中一种防护能精确保留选定子空间内的历史任务参数。
在推测解码中引入LongSpark,该框架实现草稿器解码成本与上下文前缀长度完全解耦,使长上下文任务的每输出token时间达到SOTA水平。 LongSpark是块扩散(block-diffusion)草稿器,通过从目标模型验证中提取固定大小的多尺度视图,将草稿器上下文状态降低数个数量级。
提出一种无标签准则,联合选择非监督域适应的算法与超参数,在无目标域标签情况下辅助临床部署。 方法利用多个无标签信号提名各算法模型,跨算法聚合形成参考预测,依据预测一致性选出最优候选模型。 在4项脑MRI与4项胸部X光数据集的7种临床迁移场景下,选择性能优于其他方法。
KV Packet 提出免重算的 KV 缓存复用框架,通过轻量级可训练软 token 适配器桥接上下文断层。 在 Llama-3.1 和 Qwen-3 实验中,该方法实现近零 FLOPs 且 TTFT 低于重算基线,F1 分数与全量重算持平。 该工作已被 NeurIPS 2026 接收。
AutoPipe 提出了一种预算感知的两阶段 LLM 后训练配置框架,通过离线排序代理和在线贝叶斯优化实现高效配置选择。 该框架结合高斯过程残差代理与早停预测器,在生物医学推理任务中,以远低于全保真 HPO 基线的在线成本实现了可比性能。
PayPal 推出基于 Envoy 的 Cosmos LLM Gateway,整合多厂商大语言模型,提供认证、费用管控和策略治理的统一入口。 核心请求路径在单 4vCPU 实例上支持每秒 2,200 次请求,中位额外延迟 4 ms,p99 延迟 11 ms;策略由 Open Policy Agent 声明式执行,支持数据防泄漏。
该论文提供首个联合覆盖LEO卫星分布式训练、协同推理及LLM在轨适配的综述,旨在解决AI算力受限下的卫星智能化部署难题。 文中详细阐述了联邦学习与分割学习如何实现星地协同训练,以及多种协同推理架构满足实时服务需求,同时探讨LLM在轨服务的资源感知机制。 这项研究构建了太空原生AI技术的实施路线图,为克服卫星网络动态拓扑与SWaP约束提供了设计原则。
Waypoint 是一个解析模型,能自动识别给定硬件和矩阵形状下的最优 GEMM tile size。 该模型通过捕捉内存层级、指令级并行和多线程等架构效应来估算性能。 基于 Waypoint 构建的 GEMM 库 OPAM 在 CPU 上加速 LLM 推理,实现 1.36 - 1.98 倍提速。
AIPC 结合结构化 Skills 与工具链证据,实现 PyTorch 项目在高通 NPU 上的自动部署与优化。 在两个优化案例中,Whisper-Small 有 6/7 次运行达标(对照组 0/6),YOLO-Worldv2 实现 2.791 倍端到端加速(对照组 1.599 倍),部分运行无需人工干预。 该方法将模型适配、构建、执行、精度修复与性能优化整合为单一部署流程。
针对 LLM 智能体中提示词缓存误集成常静默失败的问题,研究团队设计工具 CACHELINT,在 571 个项目中识别出 32 处误集成,精度达 0.86。 CACHELINT 结合 CodeQL 定位调用点,并基于 LLM 检查前提条件,在 10 个开源系统 120 个样本上实现 0.78 召回率。
提出 Pacifo 框架,通过定制微调策略高效评估 ResNet20 模型。 采用公私密层划分和高效 ReLU 近似,减少私用层和 FHE 操作。 比当前 SOTA 快 3.7-21.7 倍,保留 95%-99% 原始精度,开源可用。
论文建立经济模型评估大语言模型在 SOC 中的 ROI,通过蒙特卡洛模拟计算盈亏边界与 Value at Risk。 该模型平衡由准确率驱动的生产力增益与 API、自托管及错误修复成本。分析表明多数配置不具备盈利性,盈利仅限于高准确率、低不确定性部署。 为机构提供了量化依据,支撑基于证据的采用决策。
针对 23 个受调查 HPC 系统均无运行作业监督且控制主机易受攻陷的缺陷,Enclawed 提供由硬件信任根支持的确定性安全运行时,支持智能体在 MPI 和批处理 HPC 系统上的受监督运行。
Exowatt 采用 Amazon SageMaker AI 无服务器模型定制,构建了可重复的 AI 流水线。该流水线生成的微调模型在特定任务上准确率超过前沿模型,成本最高降低 49 倍。
AWS 宣布为 SageMaker AI 训练和加工作业引入 Seekable OCI (SOCI) 索引,实现容器镜像懒加载以消除下载瓶颈。 该功能通过仅拉取启动必需文件并后台流式传输剩余部分,使镜像加载时间从分钟级缩短至 3-11 秒,最大提速约 46 倍,且不影响训练性能。
C-BRAIN 联合 NVIDIA 开发 AI 工具,将痴呆症研究分析周期从数周缩短至数小时,单成本低于 $10。 系统使用 64 块 NVIDIA 数据中心 GPU,结合 NVIDIA BioNeMo 平台,通过混合联邦学习保护“暗数据”隐私。 OpenScientist 工具已覆盖 200 多个研究组,预计规模化后年释放超百万小时研究产能。
国金证券与阿里云合作,利用 Qoder 将 AI 代码生成占比稳定提升至 90% 以上。 双方将 2000 余份知识卡片提炼为 10 条避坑规范,覆盖 5 类研发环节;实测知识导航减少工具调用约三成,显著降低存量系统开发风险。 此举将个人经验转化为组织标准,确立标准与约束为 AI 规模化落地的核心瓶颈,而非工具本身。
面壁智能自研系统 ForgeKernel 同时登顶华为 CANNBench 三大硬件榜及英伟达 SOL-ExecBench。 其在 950DT 榜单总分 3903.96,基准加速比达 1.523×,约为第二名 5 倍;在 950PR 榜单加速比 1.886×,有助于降低部署成本。 该系统通过 AI 自动优化缩短国产芯片适配周期,让硬件更快转化为可用算力。