跳到正文
10月9日周五
  1. arXiv · NLP22

    LLM 辅助交通管理计划(TMP)生成框架:WisDOT WisTMP 系统案例研究

    该研究提出 LLM 辅助框架,通过微调开源模型并本地部署,将 WisTMP 历史文档转化为 JSON 问答对,实现交通管理计划(TMP)内容自动化生成。 实验显示微调显著提升文本生成指标,但模型存在策略过度生成及成本估算困难问题;从 7B/8B 扩展至 14B 模型参数提升收益有限。 框架展示了 LLM 提升 TMP 编制效率的潜力,同时揭示了 LLM 在特定领域应用中的现存挑战。

  2. arXiv · NLP23

    Wieszcz-XIX:31 亿词前 1918 年波兰语语料库及从头训练的时间受限模型

    研究人员构建包含 6.75B tokens 的 Wieszcz-XIX 语料库,覆盖 1800-1918 年波兰语文档,并开源发布。 该语料库通过管道过滤、去重并审计后 1918 年文本泄漏,已知残留率为 0.04% 至 0.38%。 研究团队从头训练 47M 至 349M 参数模型,结果显示其时间受限性优于现代基础模型。

  3. Hugging Face Blog87

    如何利用 ML-Intern 在低成本下训练和部署定制 AI 模型

    作者使用 Hugging Face 的 ML-Intern 智能体,以约 103 美元的计算成本完成了多个定制化模型项目。这些项目包括柑橘叶病识别 VLM、角色 LoRA、相机视角 LoRA 以及 0.8B 和 2B 的 Pocket Rewriter 模型。其中柑橘病识别模型在单张 A10G 上训练,将 Qwen3.5-2B 对测试集的正确识别率从 14.9% 提升至 52.8%。

    推荐理由:展示了Agent驱动的工作流,用极低算力成本生成多个专用模型,并公开了可直接复用的Prompt技巧。

10月8日周四
  1. arXiv · ML24

    GridSFM: 求解交流最优潮流的基础模型

    GridSFM 提出结合预训练基础模型与物理启发的微调框架,以大规模求解交流最优潮流 (AC-OPF)。该模型为 1500 万参数图神经网络,在 500 至 4,000 节点拓扑上预训练。 零样本生成成本误差为 2.45%,且随系统规模增加无性能衰减。通过仅 100 个求解实例,模型可适应至 10,000 节点的未知电网。 所有模型、数据与代码已开源。

  2. arXiv · ML36

    SGM 中随机梯度下降的非渐近收敛性分析

    研究随机梯度下降在 Score-based Generative Models 中的非渐近收敛性。 针对一般得分参数化,推导出加权去噪得分匹配目标的非凸分析,明确优化界限对损失加权和时间采样分布的依赖。 对于过参数化两层 ReLU 网络,开发了定制扩散训练的神经切空间核分析,量化重加权因子在得分近似误差界中的作用,提供加权选择的理论特征。

  3. arXiv · ML20

    PrismSSL:统一多模态自监督学习的单接口 Python 库

    PrismSSL 是一个 MIT 许可的 Python 库,将音频、视觉、图及跨模态的自监督学习方法统一在单个模块化代码库中。 其功能包括基于 HuggingFace Transformers 的集成、PyTorch 分布式训练、Optuna 超参搜索、LoRA 微调及 Flask 图形化配置仪表盘。 该库已打包至 PyPI,提供代码和数据配方,支持研究者复现紧凑基准测试并扩展新模态。

  4. arXiv · ML31

    分布内与分布外机器遗忘的效用与复杂度分析

    论文分析了近似机器遗忘的效用、时间与空间复杂度权衡,提供类似差分隐私的严格认证。 对分布内遗忘数据,经验风险最小化结合输出扰动实现紧凑的遗忘-效用-复杂度权衡,填补了与差分隐私“免费”遗忘的理论分离空白。 分布外数据导致遗忘时间复杂度超过重训练,新提出的鲁棒噪声梯度下降变体可在不损害效用的前提下摊销遗忘时间复杂度。

  5. arXiv · ML21

    卫星验证飞机尾迹云规避:小型扩散模型检测方法与研究

    研究构建8.4M参数小型扩散模型检测飞机尾迹云,PR-AUC达0.476,显著优于DeepLabV3+的0.414基线。 模型训练单卡完成,检测对象仅为1-2像素宽且覆盖0.18%像素的尾迹云。实验显示提升CNN输入分辨率可使准确率与基准持平,简单数据增强效果优于架构调整。 研究表明预训练反致精度崩至1%,揭示输入分辨率与数据增强对细粒度任务的关键作用。

  6. arXiv · ML26

    NeuralBES:用于可扩展建筑能源建模的可微控制感知模拟器

    NeuralBES是一款可微建筑能源模拟器,旨在解决高保真物理仿真器无法扩展且需逐栋校准的痛点。 它通过共享神经网络编码器将建筑静态元数据映射为物理有界系数,实现跨不同建筑与气候区的高效建模。 该模型在ResStock数据集训练,参数比基线少一个数量级,年度全卷动精度与最强基线持平且物理一致。

  7. arXiv · ML29

    OrBIT 模型提出结构引导嵌入压缩框架,在 GPT-2 上实现 37.9 倍压缩率,且在 7B 模型上超过 23 倍压缩。

    OrBIT 通过学习轨道动力学发现编码几何结构,利用全局重构残差分配编码预算,并通过冗余重叠图表允许局部误差相互补偿。最终编译后的紧凑解码器中,学习到的结构决定存储内容和容量分配。 该方法在多个 LLM 嵌入表中展现出与量化和低秩方法竞争性的率失真性能,为语言模型的高效存储提供了新思路。

  8. arXiv · ML23

    PoreML:用于学习多孔介质多相流的开源数据驱动框架

    PoreML 是一个开源数据驱动框架,旨在通过统一数据生成、模型训练与评估流程,解决多孔介质多相流预测中时间分辨 3D 数据集稀缺和缺乏统一工作流的问题。 该框架包含 GPU 原生格点玻尔兹曼求解器、包含 560 次模拟运行和 158,546 个存储时间步的 3.3 TB 数据集,以及评估 5 种不同架构模型的一体化学习框架。

  9. arXiv · ML33

    果蝇全脑连接组网络在学习人类设计认知任务中的表现

    研究利用 MaleCNS v1.0 果蝇全脑连接组作为固定拓扑,训练出在有限加法任务中达到 92.77% 准确率的模型,显著高于重连对照组的 67.93%。 在 100 词词汇量的地面关系语言任务中,该模型在固定界面上取得 61.59% 的准确率,并在 21 个图的比较中排名首位;打乱感觉特征后得分降至 19.27%,验证了高阶接线提供可复用归纳偏置。

  10. arXiv · ML28

    NeuralZip:面向快速无损压缩的可复用预处理方案

    研究团队提出 NeuralZip,通过预计算并复用指数统计结构实现模型权重的无损压缩,避免重复分析开销。 该方案将具有相似指数分布的数据块分组并共享 Huffman 码,后处理压缩速度比基线快 1.81 至 21.33 倍,且支持跨架构迁移与权重演化中的持续复用。 GPU 实验表明,在精确复现 logits 的同时,NeuralZip 可使激活内存占用降低最多 27.5%。

  11. arXiv · ML23

    预训练塑造谱结构:基础模型分布外鲁棒性的架构与策略条件化预测

    预训练权重的谱结构决定了基础模型在目标域出现前的分布外(OOD)鲁棒性。 架构与预训练策略共同塑造谱几何,单一统计量在“架构 x 策略”组合(cell)内可正确排序 92% 模型对的 OOD 鲁棒性。 该诊断仅需使用已发布权重即可在模型选择阶段检查 OOD 鲁棒性,避免在特定领域投入数据或计算资源。

  12. arXiv · ML35

    顺序预训练青睐大模型

    研究发现大模型因对早期数据分布偏差具有更高鲁棒性而优于小模型,小模型在顺序预训练中常难以学习后期分布(如代码、数学和推理)。 研究提出“曝光疗法”(ET)正则化方法,在十亿参数规模内提升模型对后期数据分布的学习效果及整体能力。 结果表明,大模型的部分优势源于训练鲁棒性而非特征代表性,改进算法可让较小模型获得类似收益。

  13. arXiv · ML37

    面向金融市场的世界模型构建

    研究团队发布含近1万亿观测值的Market-1T数据集,覆盖2008至2025年美国股票1Hz分辨率数据。 研究对比了18种编码器训练策略,发现预测性能相似的模型可呈现截然不同的市场状态组织方式。 该成果为训练和评估支持DINO-WM、V-JEPA 2及LeWM等世界模型的金融市场表征奠定了基础。

  14. arXiv · NLP22

    数据稀缺下的模型稀疏性:Mixture-of-Experts 对重复数据更易过拟合

    Mixture-of-Experts 在数据重复训练中比稠密模型退化更快,且随稀疏度增加而加剧。在 80M 至 1B 激活参数范围内,MoE 在 4 倍重复率即开始受损,而稠密模型在 8 倍重复率下影响较小。 通过引入 dropout 等基于掩码的正则化方法,MoE 即使在数据重复超过 64 次时仍能超越稠密模型,但无法完全恢复至全量唯一数据的性能水平。

  15. arXiv · NLP32

    奖励模型的记忆偏差分析

    研究发现判别式训练的奖励模型存在记忆分配偏差,在两个人类偏好数据集上表现不佳。 具体表现为将记忆错误分配给高置信度的简单偏好对,并过度泛化长度或顺从性等启发式特征。 这些偏差导致奖励模型无法准确判断依赖特定场景的反应质量。

  16. arXiv · NLP42

    InfiMed2 通用医疗多模态基础模型:基于上下文证据与稳定性感知监督

    InfiMed2 发布 4B 与 27B 参数规模的通用医疗多模态基础模型,采用感知阶段的数据设计。 模型利用 55.68B token 语料库进行持续预训练,并通过答案稳定性重新生成视觉问答数据以增强监督信号。 InfiMed2-4B 在强化学习后平均准确率达 66.73%,InfiMed2-27B 达 73.72%,表现优于 Qwen3.5-9B。

  17. arXiv · NLP20

    医疗 NLP 现状与未来:LREC 2026 教程

    该教程在 LREC 2026 展示,系统梳理医疗 NLP 的现状与未来挑战,构建数据资源、NLP 评估、患者支持三层体系。 内容涵盖标注指南、合成数据生成、可解释临床 NLP,以及 LLM 与知识图谱结合。 通过实操环节降低门槛,面向 NLP 从业者、医疗研究者及学生等无先验知识受众。

  18. arXiv · NLP30

    EngramEdit 通过条件记忆实现 LLM 解耦知识更新

    EngramEdit 利用条件记忆实现 LLM 解耦知识更新,在 chain-of-thought (CoT) 提示下达到接近完美的编辑成功率。 该方法通过联合更新共享 n-gram embeddings 来匹配目标表示,并在无关知识方面保持原有能力。实验显示其准确率是最强基线的近三倍,且修订知识可用于未见表达及多跳推理。