Engram Injection:参数化语言模型记忆中的时间有效性研究
Engram Injection 采用 LoRA 适配器存储事实,在冻结的 Qwen2.5-3B-Instruct 模型上通过 FiLM 条件输入时钟信息。 在 62 对更新前后问题测试中,LoRA 适配器准确率为 0,而全历史提示法答对 59 对,检索法答对 62 对。 结果表明模型学习事实与学习使用时机存在分离,时间版本选择机制尚未成功。
Engram Injection 采用 LoRA 适配器存储事实,在冻结的 Qwen2.5-3B-Instruct 模型上通过 FiLM 条件输入时钟信息。 在 62 对更新前后问题测试中,LoRA 适配器准确率为 0,而全历史提示法答对 59 对,检索法答对 62 对。 结果表明模型学习事实与学习使用时机存在分离,时间版本选择机制尚未成功。
该论文提出了名为Nufo的埃维语ASR基准,其语料库总时长达174小时。 在评测中,Whisper-medium模型的词错率(WER)为37.98%,AfriHuBERT模型为39.70%。 此基准及模型将公开发布,以推进埃维语等低资源语言的ASR研究。
ShellElastic 提出一种弹性 Transformer,将隐藏维度组织为核心与外壳,使单次全宽前向传播包含所有子网络精确隐藏状态。 联合训练保持固定计算图,每步成本约为训练最宽子网络的成本。扩展参数化规则确保所有子网络同时最大更新,且超参数在小代理模型调优后对大模型仍接近最优。 单个运行产生的子网络在匹配参数量下优于 MatFormer 等基线。
Soft-TF 通过随机凸组合将 teacher-forced 嵌入与软 token 结合,在不增加参数、外部模型或课程学习的情况下改进监督微调(SFT)。 该方法在单个并行前向传播中计算软 token,推理过程保持不变。 在 GSM8K、MATH、MathQA 和 AQuA 基准上,跨七个 Gemma、Llama 和 Mistral 模型,GSM8K 提升 2.1 至 4.1 分。
研究提出 U-SRA 扩散 U-Net 架构,通过显式对齐去噪过程中的弱层与强层内部表征,解决表征意义不足问题。该架构结合交叉注意力机制实现音视频同步,在视频背景音乐生成基准测试中,其视频音乐对齐度与整体音乐质量均超越当前最先进水平。
summary_zh: 该研究将心理求助预测转化为时间-事件问题,构建了包含 6,337 名普通用户和 5,023 名过渡者的双组队列。 行为特征在预测“谁会求助”时优于文本特征(C-index 0.797 对 0.763),两者结合后交叉验证成绩达到 0.823;预测“何时求助”时,文本特征保持稳定。
研究引入包含 479 条双维标注样本的外部测试集 SarcasTraps,专门分析讽刺对土耳其语仇恨言论检测的影响。 基于 BERTurk 和 XLM-RoBERTa 训练的模型在讽刺样本上召回率下降,GPT-4.1 和 Llama-3.3-70B 零样本测试精度显著降低。 该测试集为量化讽刺场景下检测模型的挑战提供了针对性实证依据。
论文提出 Transformer 迁移方法 T-PCOT,利用工况匹配与部分最优传输解决跨材料磁芯损耗预测中样本可比性问题。 在 3 组材料对实验中,T-PCOT 将宏平均相对误差(Macro MRE)从 12.60% 降至 9.65%,95 分位误差(P95)从 30.94% 降至 25.06%。 该方法在磁芯损耗迁移学习中实现了最先进的预测性能。
针对双水平数据选择中梯度估计不稳定和取整不可行的问题,论文提出基于可学习类别先验的概率松弛方法,并设计 ReSGD 随机梯度算法。该方法使用两点梯度估计器避免逆 Hessian 计算和无界得分项,且在弱次模条件下提供了子集近似保证。
提出双向序列级交错流水线并行 BSIPipe,解决长序列训练中单向调度的吞吐量瓶颈。 在 GPT 和 LLaMA3 实验上,平均加速比达到 1.11 至 1.13 倍。该方案通过单位拼接机制保持激活内存不变,并消除通信死锁风险。
RECAP 提出一种后训练量化方法,通过在校准时利用模型读取的历史上下文校准推理模型,以缓解低比特量化对长思维链的降级。 该方法结合动态前缀校准与前缀读取几何,在 W4A4KV4 设置下,将 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH500 上的准确率提升 13.3 个百分点,Qwen3-4B 在 AIME-120 上提升 15.8 个百分点。
提出新优化器 Ares 以提升大语言模型在可验证奖励强化学习(RLVR)中的训练效果。该优化器基于梯度谱结构自适应调整更新秩,将信号限制在低维子空间内。 研究发现 RLVR 诱导了独特的优化几何特征,即梯度能量向有效子空间集中且随训练动态演化,而监督微调不具备此特性。Ares 通过追踪这种演化来优化性能,在多种 LLM 规模和 RLVR 算法上实现了比常用优化器更高的准确率。
提出 World2TS 框架,构建了包含 31 个数据集、4,179 个序列及 97.1M 观察值的大规模基准。 该框架结合智能体语义推理与网络搜索,将 1,159 个事件与序列链接,用于提升预测准确性。
在 Qwen2 模型上,有效相关性支持度(ERS)在评测中取得最佳平均性能排名。 ERS 与正相关性幅度(PRM)产生不同的样本排序,ERS 更适合捕捉相关性分布特征。
论文提出 Terrarium 框架,通过合成可执行 App World 与结果导向评测标准,利用 Qwen3 4B、8B、14B 模型进行强化学习训练。该训练套件包含 275 个 App World 和 13344 个任务,模型在 tau^2-bench 上平均提升 18.34 个百分点,AppWorld bench 提升 10.94 个百分点。
论文分析单遍 Shuffle SGD 在强凸及一般凸目标下的预期最终遗忘上界,揭示单任务数据量、任务相似度与顺序的影响。 在 Split-CIFAR-100 和 PMNIST 上的神经网络实验证实了理论趋势在凸设置外同样适用。
VRSD 通过系统提示词调控教师模型使用特权信息的方式,在 12 个模型任务组合中的 11 个场景下提升了 Pass@1 性能。 平均提升 3.9 个百分点,同时一般性保持更高的 token 熵,避免了对捷径推理的过度依赖。 理论上,该方法将提示建模为减弱特权信息对教师分布的影响,并推导了熵保留的条件。
SEF(自我报告实体熟悉度)作为轻量级门控信号,通过筛选教师模型熟悉的实体,比无门控合成产生更高的搜索需求和学生模型准确率。 结合 Kimi-K3 判断筛选出的 5,411 条轨迹及 2,200 条新轨迹,将 Qwen3.8-27B 在 BrowseComp 子集上的准确率从 44.10% 提升至 66.41%。
Lushi-1840是一款9.83亿参数的古汉语模型,基于1840年前的12,262本书训练。 该模型对1840年后事件相比1820年前的惊喜度比值为1.38,显著高于现代模型的1.00,验证了知识截止效果。
新框架 RAD 将蒸馏信号权重与学生更新后的预测奖励效应对齐,克服了标准蒸馏忽视奖励改善信号的问题。 该框架通过临时优化器步对每个 token 的监督效果评分,在同等训练预算下将 Qwen3-1.7B 在六个竞赛数学基准上的平均准确率提升 6.5 个百分点。
提出 PGSB 框架,通过识别任务间共享方向并结合预训练权重重新参数化,提升 LoRA 模型合并效果。 PGSB 采用两阶段方法,先找出任务特异性 LoRA 更新中的共享方向,再计算其与预训练权重的相互作用以生成更优合并基。 实验表明 PGSB 在多个基准测试中持续优于现有最先进方法,代码已公开。
研究指出,主流激活函数产生的非零均值偏差会加速初期损失下降,但伴随过冲和不平滑轨迹;降低该偏差虽减缓初期学习,却最终带来更低的损失值。 在较大的视觉和语言模型实验中,较小的激活偏差与更好的后期性能相关联,表明这一特性值得在激活函数设计中明确考虑。
研究发现,仅通过 next-token prediction 即可在 Pythia 和 OLMo 2 模型(70M 至 7B 参数)中激发基于潜在分类学的属性归纳行为。
十四款决策模型与四十七款生成式LLM在立陶宛心理学调查中表现平庸,最佳生成模型 MiniMax M3 相似度得分仅为 0.813。 该得分低于其他受访者的 Copula 拟合基准,且十五个决策模型中十三个表现劣于 gpt-5.4-mini,生成式模型在复现项目相关性上更具优势。
研究团队发布 CESNET-TimeSeries26 数据集,包含 CESNET3 网络近 4.5 年连续流量时序,用于长期预测模型评估。 数据集涵盖 278,466 个 IP 地址、285 个机构及 566 个子网,提供 995 天连续数据及单个子网长周期记录。 该数据集确立纵向基准,证明预测模型仅当训练窗口覆盖完整年度周期时,才能利用年度季节性特征。
LLM 剪枝后指令跟随能力最先崩溃,远早于知识、推理或核心语言建模能力。该过程主要表现为对提示词响应的域无关性失败,而非单纯的知识丢失。 领域内数据是最强的剪枝信号,而指令风格数据在恢复阶段效果最佳。该研究为组合 LLM 剪枝与恢复提供了具体的实践方案。
Apertus 1.5 扩展了完全开源的 Apertus 系列,新增图像和音频理解能力,实现多模态推理。 基于 Apertus 1.0 继续预训练,8B 模型追加 4T tokens,70B 模型追加 2T tokens;上下文窗口扩展四倍至 262,144 tokens,架构保持不变。
提出多时间尺度分层世界-动作模型MHWA,通过跨步高层上下文通道和动态路由降低自回归预测漂移。 该模型拥有77M参数,在14款Atari子集上取得0.884 HNS,较JOWA-70M基线显著提升。 使用10%离线数据,比JOWA-150M减少70.88%训练FLOPs,实现参数与效率的平衡。
Nemotron-3-Nano-30B-A3B 支持 8 种印度语言,词表从 131,072 扩至 163,072,词内 token 数降低 38.6%。 经 1.27 万亿 tokens 持续预训练后,Indic MILU 基准提升 12.9 分,但英语 MMLU 下降 3.4 分。 该研究展示了在不改变主干架构下扩展多语言能力的技术路径。
ULPack 提出利用参考权重的指数预测位移比特长度的无损压缩方法,降低模型训练检查点的存储成本。 在 bfloat16、float16 和 float32 轨迹上,ULPack 相比 ZipNN 减少 27% 存储空间,较 zstd-19 减少 21%,较 FM-Delta 减少 11.5%。 随着更新量缩小且参考条件增强,压缩效率提升,但低位近均匀比特限制了进一步压缩空间。
PEARL 提出一种无需额外 critic 模型的过程经验感知强化学习方法,通过定位轨迹分歧并聚类决策特征改进本地信用分配。 在 AppWorld 基准上,PEARL 在 4B 和 8B 规模下均优于 ARPO 方法。 在 ALFWorld 基准上,4B 规模模型平均成功率达 97.9%,比最强基线高出 2.7 个百分点。
研究提出 PLDiv 度量指标,基于持久性景观量化数据集几何表示的结构组织,无需任务特定监督。 PLDiv 将数据邻域随样本连接演化的过程总结为可解释标量,有效检测指令数据集和推理轨迹中的语义坍缩。 该指标在合成数据监控、数据集构建及生成模型评估中支持多样性分析与语义覆盖扩展。
PsyMemBehav 模型通过 41 维描述符与 BM25 记忆,实现身份到行动推理。其 27B 版本在 11/12 项指标中排名第一,响应质量从 54.28 提升至 59.68。 该模型基于 5,862 名真实用户共 5.57M 行为记录构建,采用 DPO 优化。在组级别模拟中,MAE 低至 0.081,验证了证据驱动用户建模的有效性。
Mixture-then-Select 算法在 LLM 微调数据选择中比强基线高出 20% 至 54%。 该算法首先确定各域采样数量,再按归因得分排序,理论最优差距与选择规模成线性关系。 研究指出跨域分配采样数量是提升 LLM 数据选择效率的有效路径。
UltraBERT 成为首个在分类和检索任务上均达到 SOTA 的双向编码器,GLUE 得分 91.0,BEIR 得分 47.7。 研究发现编码器性能在数万亿 token 后饱和,且不同掩码比率对分类和检索的收益相反。UltraBERT 通过分离低/高掩码比率的 LM head 并限制蒸馏目标优化模型,为双向模型设计提供了原则基础。
OPMD 提出一种在策略机制蒸馏方法,通过在策略轨迹中内化与学生学习兼容的中间状态,解决教师与学生表示几何差异问题。 该方法在三种师生配置下均达到最高平均准确率,支持多教师蒸馏及跨家族微调,有效改进推理能力并改变中间计算策略。
Vela 框架利用 10 万用户的真实行为数据生成训练轨迹,微调 Qwen3.6-35B-A3B 后相关任务性能提升 11.5 分。 该框架处理约 7.5 万条筛选后的任务,通用基准提升 4 分,且结合强化学习可进一步优于基线 7.7 分。 研究证实真实用户行为是扩展 LLM 用户中心能力与整体智能的可扩展监督源。
针对 GRPO 在同组失败时学习信号缺失的问题,提出 VH-GPO 实现经验证的教师-学生交接。 使用 Qwen2.5-1.5B 时,VH-GPO 将 ALFWorld 成功率从 59.38% 提升至 94.79%,WebShop 从 71.62% 提升至 77.34%。 教师恢复支持仅占额外 token 的 1.77% 和 2.61%,验证了该机制在强化学生独立完成任务能力上的有效性。
SPLICE 工作流将验证与修复移出训练循环,通过离线生成修复后的轨迹数据进行微调。 模型仅基于参考解答,在推理生成时验证进度、截断失败轨迹并拼接增强提示词。 在 AIME 及经人类评分验证的奥赛证明任务上,该模型性能优于蒸馏未编辑轨迹的同源模型。
提出 GameSmith 框架,利用 LLM 合成 26 款新游戏及 336 个验证变体,解决零和博弈训练数据瓶颈。 基于 Qwen3-32B 教师模型蒸馏及 CRAB 优势估计器训练,Qwen3-4B-Base 在 13 项基准测试的平均 pass@1 从 45.5 提升至 64.9。