基于背景知识对法律领域合成数据进行分类与风险审视
论文将合成数据分为转换、增强和模拟三类,强调其生成所依赖的“真值假设”比数据来源本身更具法律与政策意义。 该分类揭示了不同类别合成数据的风险差异:任何类别都无法避免基于群体的隐私侵害,增强和模拟数据可能放大偏见,且合成数据通常难以帮助小竞争对手抵消市场头部玩家的数据优势。 研究呼吁政策制定者在评估是否激励或强制使用合成数据时,应重点审视其生成过程中所使用的真值假设的有效性。
论文将合成数据分为转换、增强和模拟三类,强调其生成所依赖的“真值假设”比数据来源本身更具法律与政策意义。 该分类揭示了不同类别合成数据的风险差异:任何类别都无法避免基于群体的隐私侵害,增强和模拟数据可能放大偏见,且合成数据通常难以帮助小竞争对手抵消市场头部玩家的数据优势。 研究呼吁政策制定者在评估是否激励或强制使用合成数据时,应重点审视其生成过程中所使用的真值假设的有效性。
基于 Gemma 4 12B 的 Agent 通过无教师自进化策略,在 τ²-bench 零售和航空域分别提升 12.5 和 19.5 个 pass¹ 点。 该模型结合技能规则诊断与 GRPO 训练的 LoRA 适配器,历经代码检查及验证门控筛选。 结果超越基准参考 Agent,显著缩小了与前沿模型的差距。
该研究提出ACASA方法,通过最小化估计的公平性差距并受预测准确率约束,学习合成数据增强的位置与数量。 理论分析表明全平衡增强严格改善Equal Opportunity,且有限样本收敛率与信息论下界一致;仿真与真实数据应用证实该方法能显著降低公平性差距并实现有利的公平-准确率权衡。
研究发现元学习神经网络的参数向量支持加性类比操作。将不同函数的参数拼接为向量,通过符号关系加减生成的新向量,能直接实现对应功能而无需直接训练。
FedBrew 是一个旨在实现可控、可复现联邦学习实验的研究代码库。 它通过配置检查、可识别客户端数据分区、检查点恢复检查及自描述运行记录,验证实验实现是否符合预定协议。该结构为研究人员或 AI 编码智能体提供新算法和数据集的扩展点与自动化检查。
研究者提出轻量级 SOAP 变体 FOAM,通过输入侧预条件和行列统计因子化二阶矩估算器,在 124M 至 760M 参数 LLM 预训练中匹配 SOAP 和 Muon 基线的验证损失。 FOAM 使用 SOAP 一半的优化器状态内存,运行时间达到 Muon 级别,且在 3 倍学习率范围内保持鲁棒性,代码已开源。
自回归语言模型序列级监督学习存在根本性缺陷,两种自然尝试导致损失函数无下界。 通过自回归 Gumbel 技巧,基于采样的损失是 Gumbel 扰动下贪婪损失的期望。尽管停止梯度推导的矩匹配方向是有效下降方向,但其高方差使得教师强制可能仍是最佳选择。
提出ACERL方法,在固定Agentic Context Engineering框架内通过强化学习共优化工具生成、反思与剧本策划行为,利用环境信息交接经验。 ACERL评估交接产物的下游影响,在智能体基准测试中取得优于基线方法的保留集表现。 结果表明智能体训练应优化未来推理所继承的模型生成经验。
针对零阶优化中随机扰动效率低的问题,提出 WIS-MeZO 方法。该方法利用 Wanda 权重-激活显著性构建任务条件稀疏扰动掩码,保持预训练模型稠密状态。在 16 个基准上,LLaMA 和 Qwen 模型(3B-32B 参数)的聚合分数优于 MeZO,且以更少步骤达到可比的验证损失。
针对 TPU 上小模型强化学习协同开销高的问题,本文提出本地协同 JAX (LoCoJAX)。 在 Qwen3-0.6B 上,LoCoJAX 的共置模式比 Pathways 基线快 1.3-3.6 倍,8 芯片速度超越 64 芯片基线。 非共置模式仅在 rollout 占主导且获得多数主机时,才通过并行计算抵消分片开销。
JudgeMix 提出裁判引导的数据合成框架,解决 LLM 智能体训练中的分布不匹配问题,在 AppWorld 和 AutomationBench 基准上提升最高 10 个 pass@1 点。 该框架根据逐步语义评估动态穿插目标模型与专家混合轨迹,仅在目标模型困难时调用专家指导,并利用裁判评估重新加权专家监督信号。
研究利用通用表格基础模型 TabPFN 基于稀疏 CPT 数据重构二维地下剖面,无需地质微调。在荷兰两个野外站点测试中,TabPFN 的平均误差低于 SchemaGAN 和参考插值方法。研究表明通用表格基础模型为更新稀疏数据下的地下预测提供了可行路径。
新范式 KVPath 通过将各层 KV 表示连接成路径,仅缓存第一层全维度基础 KV 及后续层的低维增量,在匹配参数量下将 GQA 的 KV 缓存存储减少最多 68%,MLA 减少 55%。 该方法包含两种变体:KVPath-Residual 通过残差加法更新向量值,KVPath-Rolling 以滚动方式逐步更新特征维度,均在维持或提升模型性能的同时显著降低存储开销。
Large Payments Model (LPM) 是一个专为支付预测任务设计的领域基础模型,旨在通过共享学习表示来统一欺诈检测、授权预测等应用。 LPM 基于大规模结构化交易数据从头训练,预训练语料规模达 400 billion tokens,支持独立和序列两种互补架构。 该模型在商户和资金管理领域的多项预测任务中优于任务特定基线,并已通过生产部署验证了其作为可复用支付智能层的有效性。
在 Cloudflare 的 Clef-flash 和 Clef 模型上,非量化因素(如引擎、重启、批次)导致的决策变化在 0 到 0.92% 之间。 同引擎内的量化影响显著,Clef 模型在 Q4_K_M 格式下决策变化达 5.79%。 作者开源了代码与预注册数据,用于复现 31,275 题的量化精度对比。
针对 RLVR 中“盲目”熵指标无法区分有效推理与幻觉的问题,研究者提出有效性感知熵概念,并实现 VEPO(Validity-aware Entropy Policy Optimization)方法,将有效熵直接融入训练以过滤噪声。
预训练阶段的主动抑制(DETER)比过滤或事后遗忘更有效地阻止模型通过微调获取危险知识。 在 1B 参数模型上,该方法使对抗性微调重新获得医疗知识的成本增加 20 倍以上,代码已公开。 研究证实预训练是阻止不必要能力被后续微调获取的有效阶段。
研究利用南亚5国79.6万女性DHS数据,通过机器学习审计家庭暴力模块的样本选择偏差。 最佳模型HistGradientBoosting在主要采样单元感知的验证下,ROC-AUC达0.9167。女性个体特征贡献了最大的预测增益,而国家间可迁移性有限。 该方法证明了可解释机器学习可用于敏感调查模块的覆盖差异审计。
Qwen2.5 和 Qwen3 系列模型研究表明,匹配 SFT 与 RL 的正确 rollout 数量及总预算可显著提升 SFT 泛化能力,结合数据混合与规模优势可使 SFT 泛化表现优于 RL。
研究对语音转SFT流水线进行因子消融,验证各阶段边际价值。 基于2x2设计生成韩医金融QA数据,微调9个LLM(2.4B-70B)。四项LLM评判显示质量提升,但MCQA增益不显著。正向迁移集中于匹配模型-领域对。 6名专家确认全流程质量更高。Whisper-medium替换验证鲁棒性。开源代码及检查点。
UTF-8 编码因其变长设计引入跨语言不平等,其影响研究不足。作者提出混合编码 Aether,针对格鲁吉亚语等 4 种语言建模。结果显示信息密集语言(中、韩)受益于压缩编码,而格鲁吉亚语等低信息量字符语言对编码选择不敏感。 研究表明文本编码应作为语言特定决策,而非通用默认标准。
论文提出 SMCT 模型,通过单一固定长度整数序列识别大语言模型,51 类闭集测试准确率达 92.72%。 NumPrint 基准包含 51 个模型在 1 至 355 整数间生成的 5036 条响应;增加至 4 条响应时准确率升至 97.12%。 该研究为 API 实际响应模型与声明模型一致性的验证提供了有效方法。
Alania-2 是一款 488M 参数的土耳其语 TTS 系统,支持即时与微调语音克隆。 该模型基于 18,195 小时音频训练,在 Freya-TR-Eval 基准上词错误率为 1.44%,推理首音频延迟降至 32ms。 团队开源了评估框架及三个土耳其语音和文本数据集。
LLM 验证使最小对基准测试对语言模型更易通过。在 BLiMP 和 QFrBLiMP 数据集中,10 个开源大语言模型(LMs)在预注册 LLM 过滤器标记的项上比接受的项难 18.9 分,且所有 70 种 LM-验证器组合均显示标记项更难。该过滤去除了 LMs 失败但人类未失败的项目,使准确率提升超过随机去除。
研究人员发布StakeBench评估框架,将560,876条评论与Polymarket及Manifold的市场数据挂钩,通过四组诊断任务测试模型对市场承诺的识别能力。
OmniReview 包含 202,756 条经核实的评审记录,并提出了 Pro-MMoE 框架。 该框架结合 LLM 语义画像与 Task-Adaptive MMoE 架构,在 7 项指标中的 6 项上取得了 SOTA 性能。 Pro-MMoE 为现实评审员推荐树立了新的基准,解决了嵌入方法的语义压缩瓶颈。
研究提出基于个体因素的标注指南,解决个体级 NLU 任务标签错误率高问题。 在立场检测和主题情感分析数据集中,原始标签错误率分别高达 31.7% 和 23.3%。 利用 GPT-4o 和 Llama3-70B 实验发现,加入个体因素后两模型准确率均超 87%。该论文获 ASONAM 2026 最佳论文奖。
研究者提出一种新的离散变分推断框架,在低数据量设置下实现了最高的预测准确率,超越了所有经典 IRT 和矩阵分解基线模型。 该框架基于项目反应理论,在预测学生数学考试答案正确性时准确率超过 80%,并发布了迄今最大的专业标记正式数学考试作答开放数据集。
summary_zh: 在部分指定的因果图中,do-calculus对于识别C-DMG over ADMGs中的宏观因果效应是完备且健全的,当簇大小未知或大于1时成立。
研究团队利用 IBM Heron 处理器,在 46 和 70 量子比特规模下通过 $1.2 \times 10^8$ shots 训练生成式量子本征求解器(GQE)策略,实现基于样本的量子对角化。
提出 MOAI 框架,通过列与对角线打包及免旋转算法,在 BERT-base 推理中实现比 SOTA 低 1.7 倍以上的 HE 旋转次数。 结合 Softmax 和 LayerNorm 优化,较 THOR 减少 52.8% 评估时间,单 GPU 单输入摊销耗时 2.36 分钟,代码已开源。
Havon v5 分词器在204种语言中表现优于 GPT-4o o200k_base,其中印度25种语言所需 token 数为 GPT-4o 的中位数 0.74。 该分词器采用多词训练阶段,在 GPT-4o 同词汇量下比 GPT-4o 少用 6.1% 的 token,且在英语中需 0.94 倍 token 数。 目前结果仅展示压缩效率,尚未评估使用 v4 或 v5 训练的语言模型性能。
Qwen3-0.6B 模型通过监控熵值或 margin 触发权重精度从 4-bit 升级至 8-bit 的自适应解码,在 GSM8K 测试中 15% 升级预算下捕获 94% 的 top-2 翻转。
LM-SimBench 提出 LLM 训练模拟器的统一评估框架、剖析数据集及基准,支持预测精度比较与配置选择评估。 框架分解模拟阶段,在 Ascend NPU 集群剖析 10 个 LLM 家族的 23 种设置,生成 348 种可行配置。 匹配 GPU-NPU 实验验证跨平台适用性,支持 NPU 指导的 GPU 配置选择。
SeqFold 提出一种压缩状态接口,利用学习式多通道融合、通道级时间衰减和 Lookup-Free Quantization (LFQ),将冻结主干网络的多层用户状态导出为紧凑离散编码。 该方法结合任务特定解码器生成嵌入空间,并在大规模专有数据集上验证,每状态表示存储量减少 3,400 倍,同时保留了未压缩模型的大部分下游排序性能。
WoW 是一项基于教育知识图谱构建的大规模数据集,专为大语言模型全生命周期训练设计。 该语料库系统性地补充了各级别缺失的教育模块,支持多模态信号,并在多种评测基准上显著提升了模型性能。 作者提供交互式平台支持基于图谱的数据选择与检索,以促进社区研究。
W-ISA 提出了一套软件指令集和事务运行时,用于在预训练语言模型上执行权重空间干预程序,支持参数更新、投影、消融及秩一变换,并在执行结束后恢复保存的参数。
研究指出 LLM 推理失败分类的测量结果高度依赖分类顺序。在 2,316 条记录中,50.1% 的失败含多重类别证据,分类顺序反转导致 12 个模型中 11 个的多数类别改变。
研究通过干预实验测试模型幻觉的结构起源,发现注意力机制比状态空间混合器更易传播输入中的缺陷。 在410M参数以上模型中,注意力模型重复植入错误陈述的频率显著高于匹配的状态空间模型(2.8B模型:650 vs. 566次,p=2.5e-20),而后者仍能识别植入的新事实。 该发现支持了“混合组件决定上下文缺陷是否转为输出错误”的简化结构解释,表明首因错误源于知识缺失而非被抑制的真相。
提出了首个将混合专家模型系统性地转换为标准稠密架构的框架。框架经过评分、选择、分组和知识蒸馏四个步骤,在 Qwen3-30B-A3B 上评测了 350 种配置。