利用大语言模型增强学术论文摘要与全文中的知识实体关系抽取
研究对比多种 LLM 策略在知识实体关系抽取中的效果,LoRA 适配的 T5 模型在自建数据集上取得 0.7408 和 0.7013 的最高宏 F1 分数。 实验涵盖闭源 LLM 的 CoT 提示、开源 LLM 微调及大小模型混合增强策略,并手动构建了 NLP 领域的摘要与全文标注数据集。 结果证明不同错误模式的策略组合可进一步提升抽取性能,为模型优化提供方向。
研究对比多种 LLM 策略在知识实体关系抽取中的效果,LoRA 适配的 T5 模型在自建数据集上取得 0.7408 和 0.7013 的最高宏 F1 分数。 实验涵盖闭源 LLM 的 CoT 提示、开源 LLM 微调及大小模型混合增强策略,并手动构建了 NLP 领域的摘要与全文标注数据集。 结果证明不同错误模式的策略组合可进一步提升抽取性能,为模型优化提供方向。
研究提出 YOPO 框架,在不改变权重的前提下,于冻结语言模型单次前向传播中同时完成答案生成与弃权。 通过中间层探针向量修正与弃权方向评分,YOPO 将 Qwen2.5-1.5B 在 $\alpha$NLI 的准确率从 51% 提升至 73%,三路准确率从 0.38 提升至 0.75。
研究发现宽带光的时间闪光斑可原生表征概率权重,克服了数字硬件采样贝叶斯权重的瓶颈。 该技术通过光编码独立调控均值与方差,使单个光源并行存储多组权重,无需复杂随机数生成。 所构建的光子处理器每37.5ps完成一次概率卷积,实现了分类与分布外检测,为高速不确定性感知AI提供了新路径。
研究提出基于储备证明(PoR)的分类框架,利用3,033,857个以太坊地址和58个链上行为特征识别中心化交易所。在留一法协议下,LightGBM模型宏观PR-AUC达0.9594,优于逻辑回归的0.7697。SHAP分析识别出Gas行为和ERC-20代币活动是关键预测信号,支持可解释的区块链监控。
研究发现任务向量(TVs)并非原子化方向,可基于任务识别(TR)和学习(TL)分解为功能组件,优化后的干预效果优于原始 TV。 在多模型和分类任务中,TR/TL 搜索比随机搜索更可靠,尤其对指令型 TV 效果显著,各组件在 logit 层面产生符合功能的独立效应。 结果表明 TVs 可分解为支持解释与控制的有意义组件。
针对视频背景替换任务因缺乏高质量训练数据而发展受限的问题,Sparkle 设计了一种解耦引导的数据生成流水线。 该流水线通过严格质量过滤生成前景和背景引导,构建了包含约 140K 视频对的 Sparkle 数据集及最大规模评测基准 Sparkle-Bench。 基于该数据集训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上表现优于现有基线,且代码与数据已全部开源。
为防御提示注入,研究者提出 SecPO 损失并结合高效对抗训练管线。在三个 SoTA 自适应攻击中,对抗训练使 ASR 降低 1.5-14.5 倍,SecPO 损失相比 DPO 进一步降低 2.4-4.6 倍。
研究揭示微调混合专家(MoE)模型存在“结构性记忆”漏洞,即使仅用少量样本,模型也会记忆处理数据的内部路径并形成独特的路由指纹。 攻击者无需微调数据或流程,仅通过路由和输出 logits 即可从无条件生成中隐蔽恢复记忆路径,传统成员推理指标在此场景下失效。 分布式部署中路由信息在联邦聚合点等多信任边界暴露,可结合参考模型尾部似然的新复合指标检测被微调塑造的关键专家。
研究证明引导向量可作为大语言模型后训练的有效训练信号。 在监督学习中,引导向量注入使模型性能比纯 SFT 和蒸馏提升最高达 12%;在 RLVR 场景中,通过优势修复机制恢复了无学习信号的梯度。 该成果已被 NeurIPS 2026 接受,相关代码已开源。
summary_zh: 连续扩散语言模型 LangFlow 在长度 128 和 1024 的无条件生成任务中,均优于 DSpark 变体在 GenPPL 和 MAUVE 指标上的表现。
TSBPO 提出了一种树状采样与更新范式,解决交互式语言智能体在从终端结果训练中面临的样本分配、延迟反馈归因及多 token 动作损失聚合问题。该方法使用基于似然拟合的 Root/Branch 分配器引导具有对比性终端结果的延续采样,并通过轨迹优势和观察组步优势计算策略梯度,同时在完整响应上求和截断 token 代理以避免响应长度平均。
研究提出结构保持专家剪枝框架,包含PEEP与DCEP两种方法,以解决MoE模型部署时的显存开销问题。 实验显示,在DeepSeek-V2-Lite和Qwen3-30B-A3B模型上,该方法在75%和50%专家保留率下,于多数基准测试中优于现有最先进基线。 该方法通过贪心策略优化专家子集选择,兼顾专家全局结构关系与局部重要性。
研究人员推出可扩展开源数据集 LibriVAD,基于 LibriSpeech 并融合多种真实与合成噪声源,包含 15 GB、150 GB 和 1.5 TB 三种规格及两种变体。
PhysicsNeMo-Mesh是一款运行在GPU上的开源网格处理模块,专为物理AI设计。 它在单块GB200 GPU上的网格操作速度比VTK快6.2至1,068倍,将预处理开销降至训练吞吐量的2.1%。 该模块通过保留语义结构和边界条件,将热传导误差从87%显著降低至6-9%,支持多个模型共享数据集。
MedGemma-4b-it 使用 LoRA 微调后,在 6 种疾病诊断测试中准确率达 80.37%,超过未微调 GPT-4 的 69.56%。该开源模型在癌症和肺炎等高风险任务中表现出更高灵敏度。研究证实领域微调对减少临床幻觉至关重要。
论文提出针对动态 MoE 模型的后训练框架,结合校准多教师在线策略蒸馏(C-MOPD)与高效执行路径,在 Turing-20B-A2B 上实现高分专家整合。
SatOps-Decision 首次将 Jev 风格通用判别式决策模型应用于卫星操作,其中本地打分器基于 Laya 编码器实现。该模型单次前向传播选择答案,中位延迟为 90.3 ms,比 Qwen3.5-0.8B 和 OneJev1.6-0.8B 分别快 5.47 倍和 4.30 倍。
基于 628 项研究的系统综述与受控重评估显示,许多 LLM 代码质量改进技术缺乏公平比较证据。 重评估覆盖 4 个模型及 13 个当前模型,在匹配计算预算下测试正确性、可维护性、效率和安全基准。 结果建议在预算匹配的采样基线和技术独立度量上报告增益,避免仅依赖单一自动化信号。
研究对比了 Qwen3-1.7B 学生模型与 Qwen3-4B-Instruct-2507 教师模型,发现教师文本桥梁在短训练和 BF16 推理下未带来准确率提升。 桥梁仅占 token 的 2.7%,其梯度与模型梯度近乎正交。 该结论仅适用于 BF16 推理场景,在 FP32 下模型常达到长度限制。
Muon 优化器使 MoE 语言模型首个专家层负载更难平衡,偏差幅度平均翻倍。 实验使用 55M 和 108M 参数模型,Muon 导致前几层偏差跨度增大,忙碌专家处理四至七倍份额。 将路由移至 AdamW 会轻微增加损失,该规模下结果支持路由使用 Muon。
研究者在单张消费级 GPU 上从零训练 11M 至 12M 参数的小语言模型,发布了包含自回归与掩码扩散两种生成模式的 Python 包。 在巴西葡萄牙语及联邦法律文本上,掩码扩散模式在 256 个 epoch 达到最优,表现优于自回归模式,并在补全交叉引用方面击败 160M 和 630M 参数模型。 该研究提供了经过预注册的对比协议和参考基准数据,验证了在家构建专业领域小模型的可行性。
在 4-9B 参数模型中,将 2000 个条目分入不同随机批次(每批 25 项)会导致 11-22% 的判定结果改变,差异比重命名键或改写指令多出 6.5-13.3 分。 对 14-32B 参数模型,判定改变率为 6-15%;多数投票无法消除批次成员效应,且批处理判决与单条目判决存在 8.4-17.8% 的系统性差异。
XLaw-JP-27B是基于Qwen3.8-27B的开放权重模型,在48GB GPU上运行。它在八项日本法律任务中表现优异,平均排名1.3。 该模型采用混合检索、QLoRA微调及多示例投票等技术,是唯一通过2024至2026三年司法考试者。最大短板在合同审查与专利法领域。
NVIDIA 发布 Nemotron 3.5 Super 和 Nemotron 3.5 Lightning,两款开源高效的混合 Mamba-Transformer 专家模型。Super 是 120B 参数、12B 激活的多模态模型,在 SWE-bench Pro 上得分 51.78%,Lightning 是 30B 参数、3B 激活的文本模型。
针对在线西班牙语L2课堂,使用LoRA在人工校正的领域数据上适配开源ASR模型MOSS-Transcribe-Diarize和Whisper large-v3。
研究测量了13个开源检查点在从基础模型到偏好优化各训练阶段的谄媚行为,识别出源于提示词顺从与对话屈服两种不同模式。 基础模型普遍存在对提示词声明的顺从,且排序与后训练模型一致,而对话中放弃正确答案的屈服行为在后训练检查点中普遍出现。 这些结果影响了对谄媚行为的评估策略及针对两种行为的不同治理方案。 ```
AWS Batch 推出配额管理,支持在 SageMaker 训练任务中跨团队共享 GPU 资源。 管理员可将算力划分为配额份额,配置 LEND 或 LEND_AND_BORROW 策略,自动借出闲置容量。 内置跨份额抢占机制可回收借出资源,结合优先级抢占提升高优任务调度效率。
Hugging Face 联合 Carnegie Mellon University 等高校及机构宣布启动 Project ProtoStar 计划,旨在让公共资助科研的数据集、模型与代码以 AI-ready 和机器可操作的格式开放共享。
LibTV双十一开启,Wan 3、Kling 4.0、Minimax H3三大旗舰视频模型支持最长30天0积分无限使用。 Seedance 2.5 720P生成价格低至每秒0.17元,年会员享最高1300元立减及3个月会员加赠,首三个月累计加赠超17万积分。 至尊92K年包从40999元降至16999元,活动提供7天保价,老用户升级同享优惠。
蚂蚁开源和 inclusionAI 将于 11 月 2 日至 5 日在 2026 世界互联网大会乌镇峰会参展并演讲,聚焦 Agentic AI 与机器人通用大脑。 蚂蚁 2000 余个代码仓库开源,LingBot 系列获 3 万+ GitHub Star,OceanBase 开源集群部署超 20 万套。 通过全栈开源降低行业门槛,加速具身智能与 AI 基础设施的规模化落地。
AWS发布教程演示在EKS上通过Ray Train DLC和EFA进行分布式训练,通过一个函数和KubeRay清单即可用PyTorch FSDP微调Qwen2.5-1.5B。该方案无需构建镜像,直接复用预置的DLC容器,配置好四台带EFA的g6.12xlarge实例与八个L4 GPU,使双实例间通信性能较TCP提升一倍,同时简化了多节点集群的部署与网络适配。
百灵开源 Ling-3.1-flash-1019 和 Ling-3.1-flash-base,支持 Personal Agent 场景下的长程任务。
该研究分析了图中带独立高斯噪声的 gossip 平均算法的差分隐私,将多步 gossip 的隐私损失刻画为高斯机制问题。 隐私保证的增长由 gossip 矩阵对应的 Toeplitz 符号控制;在可计算条件下,其效用界可匹配可信中心聚合器的表现。
summary_zh: 提出层级低秩重参数化方法,通过低秩分解递归压缩 PEFT 可训练参数。 该方法结合 LoRA、DoRA 等方法,在 LLaMA-3.1-8B 等模型上验证,参数压缩约十倍仍保持竞争力。
DocSkill 是结合技能编排策略的智能体框架,基于 Qwen3-VL-8B 在 MMHop-DocBench 上准确率 41.0、F1 达 49.2。 利用有界 MCTS 生成轨迹进行 SFT 和 DPO 优化,该基准包含 10 种语言、8 个文档领域的 60K 问答对。 相比最强基线提升 5.5 点准确率和 6.3 点 F1。
COGNAC 是一种基于图神经网络的模型,通过 UNIFAC 框架学习原子级几何与交互参数,在预测活度系数时精度显著高于 UNIFAC 和 HANNA。 该模型基于约 82 万实验数据点训练,相比 HANNA 误差降低 13-63%,并能可靠预测多相平衡与共沸物,计算成本与 UNIFAC 相当。
AHEAD 通过预测步长实现了对 Gurobi 首阶求解器 6.5 至 11.6 倍的端到端加速。 该架构支持最多 10^7 个变量的打包线性规划,并通过学习交接策略设定迭代次数。 加速效果在 PageRank 线性规划中同样成立,且适用于未见过的规模与分布。
研究人员提出由强化学习控制的固定翼拦截无人机,在模拟与实飞中成功拦截机动目标。 该策略在 Python 环境中结合近端策略优化(PPO)训练,模拟表现优于传统控制器。 该系统展示了人工智能在固定翼拦截无人机自主控制方面的潜力。
DuplexTune 提出耦合状态回放框架,在 Qwen1.5-MoE-A2.7B 上峰值显存降至 38.8 GB,吞吐提升至 25.1 samples/s。 该框架通过训练宽度桥接两个残差流至骨干网络,路由权重保持冻结,且桥梁预热先于骨干自适应。 模型在 MMLU 达 67.2%,GSM8K 达 75.6%,MT-Bench 7.69 分,但多语言得分弱于带检查点的基线。
Concordat 是一个开源 Python 库,通过有限状态协议在运行时强制约束大语言模型智能体行为,解决智能体执行敏感操作时的合规性问题。 该库在每轮仅允许调用当前协议状态下的合法工具,拒绝越界调用;协议定义时进行检查,若子类可能绕过父类协议则拒绝继承。