跳到正文
11月2日周一
  1. arXiv · NLP23

    利用大语言模型增强学术论文摘要与全文中的知识实体关系抽取

    研究对比多种 LLM 策略在知识实体关系抽取中的效果,LoRA 适配的 T5 模型在自建数据集上取得 0.7408 和 0.7013 的最高宏 F1 分数。 实验涵盖闭源 LLM 的 CoT 提示、开源 LLM 微调及大小模型混合增强策略,并手动构建了 NLP 领域的摘要与全文标注数据集。 结果证明不同错误模式的策略组合可进一步提升抽取性能,为模型优化提供方向。

  2. arXiv · ML35

    时间闪光斑实现不确定性感知光子AI的概率权重

    研究发现宽带光的时间闪光斑可原生表征概率权重,克服了数字硬件采样贝叶斯权重的瓶颈。 该技术通过光编码独立调控均值与方差,使单个光源并行存储多组权重,无需复杂随机数生成。 所构建的光子处理器每37.5ps完成一次概率卷积,实现了分类与分布外检测,为高速不确定性感知AI提供了新路径。

  3. arXiv · ML21

    利用储备证明在以太坊链上行为签名中分类中心化交易所地址

    研究提出基于储备证明(PoR)的分类框架,利用3,033,857个以太坊地址和58个链上行为特征识别中心化交易所。在留一法协议下,LightGBM模型宏观PR-AUC达0.9594,优于逻辑回归的0.7697。SHAP分析识别出Gas行为和ERC-20代币活动是关键预测信号,支持可解释的区块链监控。

  4. arXiv · ML26

    任务向量可线性分解为可解释且可控的组件

    研究发现任务向量(TVs)并非原子化方向,可基于任务识别(TR)和学习(TL)分解为功能组件,优化后的干预效果优于原始 TV。 在多模型和分类任务中,TR/TL 搜索比随机搜索更可靠,尤其对指令型 TV 效果显著,各组件在 logit 层面产生符合功能的独立效应。 结果表明 TVs 可分解为支持解释与控制的有意义组件。

  5. arXiv · AI27

    Sparkle 提出解耦引导实现指令驱动视频背景替换

    针对视频背景替换任务因缺乏高质量训练数据而发展受限的问题,Sparkle 设计了一种解耦引导的数据生成流水线。 该流水线通过严格质量过滤生成前景和背景引导,构建了包含约 140K 视频对的 Sparkle 数据集及最大规模评测基准 Sparkle-Bench。 基于该数据集训练的模型在 OpenVE-Bench 和 Sparkle-Bench 上表现优于现有基线,且代码与数据已全部开源。

  6. arXiv · AI38

    微调混合专家(MoE)LLM 中可恢复的专家利用特征分析

    研究揭示微调混合专家(MoE)模型存在“结构性记忆”漏洞,即使仅用少量样本,模型也会记忆处理数据的内部路径并形成独特的路由指纹。 攻击者无需微调数据或流程,仅通过路由和输出 logits 即可从无条件生成中隐蔽恢复记忆路径,传统成员推理指标在此场景下失效。 分布式部署中路由信息在联邦聚合点等多信任边界暴露,可结合参考模型尾部似然的新复合指标检测被微调塑造的关键专家。

  7. arXiv · AI24

    引导向量作为 LLM 后训练的训练信号

    研究证明引导向量可作为大语言模型后训练的有效训练信号。 在监督学习中,引导向量注入使模型性能比纯 SFT 和蒸馏提升最高达 12%;在 RLVR 场景中,通过优势修复机制恢复了无学习信号的梯度。 该成果已被 NeurIPS 2026 接受,相关代码已开源。

  8. arXiv · AI31

    TSBPO:用于交互式语言智能体策略优化的树状分支方法

    TSBPO 提出了一种树状采样与更新范式,解决交互式语言智能体在从终端结果训练中面临的样本分配、延迟反馈归因及多 token 动作损失聚合问题。该方法使用基于似然拟合的 Root/Branch 分配器引导具有对比性终端结果的延续采样,并通过轨迹优势和观察组步优势计算策略梯度,同时在完整响应上求和截断 token 代理以避免响应长度平均。

  9. arXiv · AI25

    混合专家大语言模型的结构保持专家剪枝方法

    研究提出结构保持专家剪枝框架,包含PEEP与DCEP两种方法,以解决MoE模型部署时的显存开销问题。 实验显示,在DeepSeek-V2-Lite和Qwen3-30B-A3B模型上,该方法在75%和50%专家保留率下,于多数基准测试中优于现有最先进基线。 该方法通过贪心策略优化专家子集选择,兼顾专家全局结构关系与局部重要性。

10月30日周五
  1. arXiv · NLP40

    LLM 生成代码质量改进技术的系统综述与受控重评估

    基于 628 项研究的系统综述与受控重评估显示,许多 LLM 代码质量改进技术缺乏公平比较证据。 重评估覆盖 4 个模型及 13 个当前模型,在匹配计算预算下测试正确性、可维护性、效率和安全基准。 结果建议在预算匹配的采样基线和技术独立度量上报告增益,避免仅依赖单一自动化信号。

  2. arXiv · NLP38

    在家自研小语言模型:单张消费级 GPU 训练自回归与掩码扩散架构以处理葡萄牙语任务

    研究者在单张消费级 GPU 上从零训练 11M 至 12M 参数的小语言模型,发布了包含自回归与掩码扩散两种生成模式的 Python 包。 在巴西葡萄牙语及联邦法律文本上,掩码扩散模式在 256 个 epoch 达到最优,表现优于自回归模式,并在补全交叉引用方面击败 160M 和 630M 参数模型。 该研究提供了经过预注册的对比协议和参考基准数据,验证了在家构建专业领域小模型的可行性。

  3. arXiv · NLP30

    上下文批处理使 LLM 判决依赖于同批其他项

    在 4-9B 参数模型中,将 2000 个条目分入不同随机批次(每批 25 项)会导致 11-22% 的判定结果改变,差异比重命名键或改写指令多出 6.5-13.3 分。 对 14-32B 参数模型,判定改变率为 6-15%;多数投票无法消除批次成员效应,且批处理判决与单条目判决存在 8.4-17.8% 的系统性差异。

  4. arXiv · NLP41

    定位开源语言模型训练各阶段的谄媚行为

    研究测量了13个开源检查点在从基础模型到偏好优化各训练阶段的谄媚行为,识别出源于提示词顺从与对话屈服两种不同模式。 基础模型普遍存在对提示词声明的顺从,且排序与后训练模型一致,而对话中放弃正确答案的屈服行为在后训练检查点中普遍出现。 这些结果影响了对谄媚行为的评估策略及针对两种行为的不同治理方案。 ```

10月29日周四
  1. 哩布哩布AI21

    LibTV双十一:三大旗舰模型30天0积分畅用,Seedance 2.5 720P低至0.17元/s

    LibTV双十一开启,Wan 3、Kling 4.0、Minimax H3三大旗舰视频模型支持最长30天0积分无限使用。 Seedance 2.5 720P生成价格低至每秒0.17元,年会员享最高1300元立减及3个月会员加赠,首三个月累计加赠超17万积分。 至尊92K年包从40999元降至16999元,活动提供7天保价,老用户升级同享优惠。

  2. 蚂蚁开源33

    蚂蚁开源与 inclusionAI 参展 2026 世界互联网大会乌镇峰会

    蚂蚁开源和 inclusionAI 将于 11 月 2 日至 5 日在 2026 世界互联网大会乌镇峰会参展并演讲,聚焦 Agentic AI 与机器人通用大脑。 蚂蚁 2000 余个代码仓库开源,LingBot 系列获 3 万+ GitHub Star,OceanBase 开源集群部署超 20 万套。 通过全栈开源降低行业门槛,加速具身智能与 AI 基础设施的规模化落地。

  3. AWS Machine Learning Blog58

    使用Ray Train DLC和EFA在EKS上进行分布式训练

    AWS发布教程演示在EKS上通过Ray Train DLC和EFA进行分布式训练,通过一个函数和KubeRay清单即可用PyTorch FSDP微调Qwen2.5-1.5B。该方案无需构建镜像,直接复用预置的DLC容器,配置好四台带EFA的g6.12xlarge实例与八个L4 GPU,使双实例间通信性能较TCP提升一倍,同时简化了多节点集群的部署与网络适配。

10月28日周三
  1. arXiv · AI24

    DuplexTune:用于 MoE 自适应耦合状态回放框架

    DuplexTune 提出耦合状态回放框架,在 Qwen1.5-MoE-A2.7B 上峰值显存降至 38.8 GB,吞吐提升至 25.1 samples/s。 该框架通过训练宽度桥接两个残差流至骨干网络,路由权重保持冻结,且桥梁预热先于骨干自适应。 模型在 MMLU 达 67.2%,GSM8K 达 75.6%,MT-Bench 7.69 分,但多语言得分弱于带检查点的基线。