微调Qwen3.5 SLM在语法概念标注中超越GPT-5.4/5.6
微调后的Qwen3.5小语言模型在两个基准测试中,于精确率和召回率上均优于提示词驱动的GPT-5.4与GPT-5.6 Sol。 部署的0.8B模型将服务成本降低约16倍,其紧凑提示设计优于冗长指令。线上实验显示该功能带来显著收益,学习者参与度提升15.8%,新课程GMV增长13.2%。
微调后的Qwen3.5小语言模型在两个基准测试中,于精确率和召回率上均优于提示词驱动的GPT-5.4与GPT-5.6 Sol。 部署的0.8B模型将服务成本降低约16倍,其紧凑提示设计优于冗长指令。线上实验显示该功能带来显著收益,学习者参与度提升15.8%,新课程GMV增长13.2%。
该研究提出 LLM 辅助框架,通过微调开源模型并本地部署,将 WisTMP 历史文档转化为 JSON 问答对,实现交通管理计划(TMP)内容自动化生成。 实验显示微调显著提升文本生成指标,但模型存在策略过度生成及成本估算困难问题;从 7B/8B 扩展至 14B 模型参数提升收益有限。 框架展示了 LLM 提升 TMP 编制效率的潜力,同时揭示了 LLM 在特定领域应用中的现存挑战。
研究人员构建包含 6.75B tokens 的 Wieszcz-XIX 语料库,覆盖 1800-1918 年波兰语文档,并开源发布。 该语料库通过管道过滤、去重并审计后 1918 年文本泄漏,已知残留率为 0.04% 至 0.38%。 研究团队从头训练 47M 至 349M 参数模型,结果显示其时间受限性优于现代基础模型。
作者使用 Hugging Face 的 ML-Intern 智能体,以约 103 美元的计算成本完成了多个定制化模型项目。这些项目包括柑橘叶病识别 VLM、角色 LoRA、相机视角 LoRA 以及 0.8B 和 2B 的 Pocket Rewriter 模型。其中柑橘病识别模型在单张 A10G 上训练,将 Qwen3.5-2B 对测试集的正确识别率从 14.9% 提升至 52.8%。
推荐理由:展示了Agent驱动的工作流,用极低算力成本生成多个专用模型,并公开了可直接复用的Prompt技巧。
GridSFM 提出结合预训练基础模型与物理启发的微调框架,以大规模求解交流最优潮流 (AC-OPF)。该模型为 1500 万参数图神经网络,在 500 至 4,000 节点拓扑上预训练。 零样本生成成本误差为 2.45%,且随系统规模增加无性能衰减。通过仅 100 个求解实例,模型可适应至 10,000 节点的未知电网。 所有模型、数据与代码已开源。
研究随机梯度下降在 Score-based Generative Models 中的非渐近收敛性。 针对一般得分参数化,推导出加权去噪得分匹配目标的非凸分析,明确优化界限对损失加权和时间采样分布的依赖。 对于过参数化两层 ReLU 网络,开发了定制扩散训练的神经切空间核分析,量化重加权因子在得分近似误差界中的作用,提供加权选择的理论特征。
研究人员提出 TACO 优化器,将 LLM 全参数微调的持久优化器状态相对 AdamW8bit 减少 174 倍。 该优化器基于 Muon 的算子范数视角,通过选取二维权重矩阵每列最大幅值分量的符号计算精确最速下降方向,并仅维护每列少量低精度梯度分量。
提出首个基于语言模型的惯性约束聚变预测器ICF-DLM,将峰值时序误差从11.6降至9.2步。 模型结合物理类型分解、双向去噪及物理驱动PPO奖励,在ICFBench上优于LLaMA-3-8B及经典序列模型。
PrismSSL 是一个 MIT 许可的 Python 库,将音频、视觉、图及跨模态的自监督学习方法统一在单个模块化代码库中。 其功能包括基于 HuggingFace Transformers 的集成、PyTorch 分布式训练、Optuna 超参搜索、LoRA 微调及 Flask 图形化配置仪表盘。 该库已打包至 PyPI,提供代码和数据配方,支持研究者复现紧凑基准测试并扩展新模态。
该方法直接从目标模型训练与测试损失分布估算对Likelihood Ratio Attack (LiRA)的模型级脆弱性,全程无需训练参考模型。 LiRA的逐样本信号分解为方差比项和残差均值偏移项;在重尾端,LOSS攻击TNR预测LiRA TPR@FPR=$10^{-3}$的RMSE为0.036,优于RMIA;在对称端,预测RMSE为0.018。
论文提出 HomID 基准集合,用于在具有各向异性嵌入的同质流形上测试内在维度(ID)估计器。 研究发现,在标准基准上表现优异的方法在 HomID 相同资源分配下性能系统性退化,各向异性扭曲导致依赖于的方法分布发生系统性偏移。
论文分析了近似机器遗忘的效用、时间与空间复杂度权衡,提供类似差分隐私的严格认证。 对分布内遗忘数据,经验风险最小化结合输出扰动实现紧凑的遗忘-效用-复杂度权衡,填补了与差分隐私“免费”遗忘的理论分离空白。 分布外数据导致遗忘时间复杂度超过重训练,新提出的鲁棒噪声梯度下降变体可在不损害效用的前提下摊销遗忘时间复杂度。
提出一种无需标签和模型训练的无偏数据集剪枝方法,将子集选择重构为方差最小化问题。 通过高维多面体顶点的线性规划近似算法,该方法在 CIFAR-10、MNIST 和 CelebA 上匹配或超过均匀采样,并减少小批量随机梯度方差。
研究团队提出 DRIVE 方法,通过将成功行为多样性转化为显式强化学习目标,显著提升视觉-语言-动作(VLA)策略的泛化能力。 在 LIBERO-Plus、ManiSkill3 和 RoboTwin 2.0 基准测试中,DRIVE 使 π0 模型的域外平均性能比常规强化学习微调提升 5.3 分,π0.5 提升 2.0 分。
ORCA 通过正交残差对齐机制,将低秩视觉特征信号融入扩散模型训练,有效解决属性绑定和空间关系等组合性失效。 该方法在 DiT-B/2 等三个骨干上均提升 FID 和 GenEval,DiT-L/2 在 200K 步达到 FID 16.65 和 GenEval 0.291,无需推理开销。 论文已被 NeurIPS 2026 接收。
研究构建8.4M参数小型扩散模型检测飞机尾迹云,PR-AUC达0.476,显著优于DeepLabV3+的0.414基线。 模型训练单卡完成,检测对象仅为1-2像素宽且覆盖0.18%像素的尾迹云。实验显示提升CNN输入分辨率可使准确率与基准持平,简单数据增强效果优于架构调整。 研究表明预训练反致精度崩至1%,揭示输入分辨率与数据增强对细粒度任务的关键作用。
NeuralBES是一款可微建筑能源模拟器,旨在解决高保真物理仿真器无法扩展且需逐栋校准的痛点。 它通过共享神经网络编码器将建筑静态元数据映射为物理有界系数,实现跨不同建筑与气候区的高效建模。 该模型在ResStock数据集训练,参数比基线少一个数量级,年度全卷动精度与最强基线持平且物理一致。
OrBIT 通过学习轨道动力学发现编码几何结构,利用全局重构残差分配编码预算,并通过冗余重叠图表允许局部误差相互补偿。最终编译后的紧凑解码器中,学习到的结构决定存储内容和容量分配。 该方法在多个 LLM 嵌入表中展现出与量化和低秩方法竞争性的率失真性能,为语言模型的高效存储提供了新思路。
ResidualQuant 通过 2-Bit 残差量化显著降低循环 Transformer 的 KV cache 内存占用。该方法以最终循环 KV 状态为参考,结合最小二乘缩放、旋转及循环级混合精度实现高精度量化。
ORDERS 框架在 CIFAR-10 数据集上实现 80.51% 平均客户端准确率,略优于 FedPer-R1 的 79.02%。 该方案结合共享骨干网络与私有残差适配器,使用基于更新范数的几何权重,在 Sent140 数据集上准确率为 74.71%,参数传输节省 5.47% 至 0.78%。
PoreML 是一个开源数据驱动框架,旨在通过统一数据生成、模型训练与评估流程,解决多孔介质多相流预测中时间分辨 3D 数据集稀缺和缺乏统一工作流的问题。 该框架包含 GPU 原生格点玻尔兹曼求解器、包含 560 次模拟运行和 158,546 个存储时间步的 3.3 TB 数据集,以及评估 5 种不同架构模型的一体化学习框架。
PrivTab 引入一种差分隐私分类的表格基础模型,在架构中嵌入隐私机制。 模型预训练后通过上下文学习将敏感数据转化为紧凑的隐私摘要,在中等至强隐私下优于基线,且将数据集拟合时间减少 10,000 倍,仅需单次前向传播。
研究利用 MaleCNS v1.0 果蝇全脑连接组作为固定拓扑,训练出在有限加法任务中达到 92.77% 准确率的模型,显著高于重连对照组的 67.93%。 在 100 词词汇量的地面关系语言任务中,该模型在固定界面上取得 61.59% 的准确率,并在 21 个图的比较中排名首位;打乱感觉特征后得分降至 19.27%,验证了高阶接线提供可复用归纳偏置。
研究团队提出 NeuralZip,通过预计算并复用指数统计结构实现模型权重的无损压缩,避免重复分析开销。 该方案将具有相似指数分布的数据块分组并共享 Huffman 码,后处理压缩速度比基线快 1.81 至 21.33 倍,且支持跨架构迁移与权重演化中的持续复用。 GPU 实验表明,在精确复现 logits 的同时,NeuralZip 可使激活内存占用降低最多 27.5%。
预训练权重的谱结构决定了基础模型在目标域出现前的分布外(OOD)鲁棒性。 架构与预训练策略共同塑造谱几何,单一统计量在“架构 x 策略”组合(cell)内可正确排序 92% 模型对的 OOD 鲁棒性。 该诊断仅需使用已发布权重即可在模型选择阶段检查 OOD 鲁棒性,避免在特定领域投入数据或计算资源。
研究发现大模型因对早期数据分布偏差具有更高鲁棒性而优于小模型,小模型在顺序预训练中常难以学习后期分布(如代码、数学和推理)。 研究提出“曝光疗法”(ET)正则化方法,在十亿参数规模内提升模型对后期数据分布的学习效果及整体能力。 结果表明,大模型的部分优势源于训练鲁棒性而非特征代表性,改进算法可让较小模型获得类似收益。
Pioneer Student (PiS) 通过独立参数空间的辅助分支,解决半监督学习中教师-学生参数耦合及标签损失失衡问题。PiS 周期性向主模型传输知识,作为通用即插即用模块,持续改进主流半监督学习方法。
Q-PACE 通过二阶敏感性模型预测量化噪声损失,并在训练中周期性重算系数以重新分配精度。 该方法基于每层曲率系数加权量化噪声均方误差,在最高 4B 参数的大语言模型预训练和微调实验中,以更低的内存预算实现了与现有混合精度训练相当的损失。
提出针对金属增材制造 PINN 的域知自适应采样策略,在相同预算下平均降低 62.1% 相对 L2 误差。 采用两阶段框架:条件流匹配学习高残差分布,结合域知基础分布生成采样点。 这是首个用于金属增材制造 PINN 的自适应采样策略。
TAP 是首个针对 RL 训练智能体的结构剪枝框架,结合轨迹锚定的在线恢复策略,有效解决长程代理任务中的推理成本问题。 移除 60% 的 FFN 通道后,TAP 在 ALFWorld 和 WebShop 上分别保留了 99.2% 和 88.0% 的任务成功率,同时使 GPU 耗时减少约 22% 和 17%。
研究团队发布含近1万亿观测值的Market-1T数据集,覆盖2008至2025年美国股票1Hz分辨率数据。 研究对比了18种编码器训练策略,发现预测性能相似的模型可呈现截然不同的市场状态组织方式。 该成果为训练和评估支持DINO-WM、V-JEPA 2及LeWM等世界模型的金融市场表征奠定了基础。
研究者提出有向时间控制表示(DTRC),基于冻结的 LeWorldModel 特征,在离线视觉轨迹上学习与时序可达性对齐的潜在几何。该方法通过构建有向时间拟度量,利用短程时序偏移校准距离尺度,并通过引导目标扩展长时间范围可达性。
Mixture-of-Experts 在数据重复训练中比稠密模型退化更快,且随稀疏度增加而加剧。在 80M 至 1B 激活参数范围内,MoE 在 4 倍重复率即开始受损,而稠密模型在 8 倍重复率下影响较小。 通过引入 dropout 等基于掩码的正则化方法,MoE 即使在数据重复超过 64 次时仍能超越稠密模型,但无法完全恢复至全量唯一数据的性能水平。
研究发现判别式训练的奖励模型存在记忆分配偏差,在两个人类偏好数据集上表现不佳。 具体表现为将记忆错误分配给高置信度的简单偏好对,并过度泛化长度或顺从性等启发式特征。 这些偏差导致奖励模型无法准确判断依赖特定场景的反应质量。
InfiMed2 发布 4B 与 27B 参数规模的通用医疗多模态基础模型,采用感知阶段的数据设计。 模型利用 55.68B token 语料库进行持续预训练,并通过答案稳定性重新生成视觉问答数据以增强监督信号。 InfiMed2-4B 在强化学习后平均准确率达 66.73%,InfiMed2-27B 达 73.72%,表现优于 Qwen3.5-9B。
作者构建 CodeInsight 数据集,包含 3,286 名本科生在两年内提交的 300 万多次 C++ 代码,用于建模迭代解题过程。 数据涵盖测试用例结果、时间戳及源代码,支持评测参数化、序列及生成式模型。 该研究将在 EMNLP 2026 Findings 发表,代码和数据集应要求公开发布。
提出一种上下文定位重建框架,将 PubMed 开放获取记录转化为连贯的多模态序列,构建 9.63B token 语料库进行持续预训练。 该方法修复非连续上下文并裁剪无支持图像,在固定 SFT 下使 Qwen3.5-4B-Base 医疗平均分提升 1.46 分,通用/科学平均分提升 3.11 分。
该教程在 LREC 2026 展示,系统梳理医疗 NLP 的现状与未来挑战,构建数据资源、NLP 评估、患者支持三层体系。 内容涵盖标注指南、合成数据生成、可解释临床 NLP,以及 LLM 与知识图谱结合。 通过实操环节降低门槛,面向 NLP 从业者、医疗研究者及学生等无先验知识受众。
针对在线 RL 微调中的行为归因问题,研究者开源了评测框架 BehaviorTrace。在 Qwen2.5-1.5B 模型测试中,仅按梯度大小排序即可达到 4.2-4.5 倍随机水平,且流畅度预测效果优于所有梯度方法。
EngramEdit 利用条件记忆实现 LLM 解耦知识更新,在 chain-of-thought (CoT) 提示下达到接近完美的编辑成功率。 该方法通过联合更新共享 n-gram embeddings 来匹配目标表示,并在无关知识方面保持原有能力。实验显示其准确率是最强基线的近三倍,且修订知识可用于未见表达及多跳推理。