HUMXN 提供免费居家服务以采集 AI 机器人训练数据
HUMXN 提供免费上门水电、管道、暖通等居家服务以采集 AI 机器人训练数据。该公司向居民付费以换取在住宅内录制视频的权限,首批项目将落地明尼阿波利斯、芝加哥和迈阿密。
HUMXN 提供免费上门水电、管道、暖通等居家服务以采集 AI 机器人训练数据。该公司向居民付费以换取在住宅内录制视频的权限,首批项目将落地明尼阿波利斯、芝加哥和迈阿密。
SmolLM2-1.7B 结合三层模式派生约束栈,在 linalg 方言上达到 80.0% 验证通过率,比 CodeLlama-34B 等高参数量模型高出 21-44 个百分点,且生成速度提升 8-25 倍。
研究者推出 AceFF,一款针对小分子药物发现优化的预训练机器学习原子间势(MLIP)。 该模型基于 TensorNet2 架构改进,在药物样化合物数据集上训练,平衡高通量推理速度与 DFT 级精度。 提供 AceFF-2 和 AceFF-2-OMOL 两个模型,支持 H、B、C 等元素及带电状态,权重和推理代码已公开。
GVPO 提出了一种大语言模型后训练方法,通过整合 KL 约束奖励最大化的解析解到梯度权重中,解决了 GRPO 等现有方法的训练不稳定问题。 该方法保证拥有唯一的 KL 约束最优解,支持灵活的采样分布,避免了对策略和重要性采样的限制。 该研究已被 NeurIPS 2025 会议接收,扩展版本 GVPO++ 已公开。
在数据稀缺场景下,视觉定位框架 POBF 通过“框外修补”合成图像,并结合难度与过拟合分数筛选最优训练数据。 实验显示,POBF 相比仅使用真实数据的方法平均性能提升 5.83%,准确率领先主流基线 2.29%-3.85%。 该方法验证了在不同生成模型、数据规模及架构下的鲁棒性与泛化能力。
研究熵控学习在独立任务、风险与干预约束下的机制,指出单纯降低熵并不等同于安全性。 推导了噪声校准对数行列式泛函的光谱力公式,并给出了多个保护风险下的极小极大可行性证明与锥投影公式。 理论明确了可容许熵调节的边界与局限性,但未将压缩等同于对齐或证明对人类福祉的益处。
LARS 方法将适配器激活中间值的存储复杂度从 O(BSRL) 降至 O(BRL),在 S=1024 时比 LoRA 减少 23% GPU 内存占用。 通过池化特征提取和低秩子空间调制实现,在 CPU 上平均单步优化功耗降低 22.43%。 该结果展示了激活高效适配在资源受限及端侧 LLM 微调中的实际路径。
这项研究通过 17 个涵盖编码、数学等领域的 Agent 基准,探讨了不依赖 Rollouts 预测任务难度的方法。 发现 AUC 指标可能掩盖难度估计的不足,并指出 token 级熵是有用的预测信号。 利用期望难度与观察难度之间的残差,可以暴露环境中的污染和不可行性缺陷。
针对 LLM 复杂指令遵循中硬约束易被忽视的问题,研究提出分阶段优化框架 STAIF,并在代表性基准上取得 SOTA 性能。 框架将主观软约束与可验证硬约束解耦:阶段 1 用多负样本偏好优化提升软约束敏感度,阶段 2 用 RLVR 强制满足硬约束。同时构建包含约 31,000 条复杂多约束指令的中英双语数据集 STAINSTRUCT。
summary_zh: 研究者提出包含19,176张图片的NVRD数据集,用于评估视觉-语言模型(VLMs)对全新视觉概念的映射能力。 该数据集涵盖90种视觉概念,每种包含最多20个扰动版本。
LeanTTA 提出了一种无反向传播且无状态的量化测试时自适应框架,专为资源受限的边缘设备设计。 该方法通过动态更新归一化统计量实现自适应,结合部分自适应与量化模块融合,ResNet18 模型峰值内存占用仅为 11.2MB,误差降低 15.7%。 LeanTTA 在传感器模态验证中显著优于现有最先进方法,解决了边缘部署中数据有限与环境多变导致的准确性与效率平衡难题。
宽神经网络中随机梯度下降的学习动力学可从重叠分布描述,早期阶段可用高斯近似。 通过高斯近似,学习可简化为追踪目标函数线性与二次成分的集体变量。 该机制通过二次屏蔽加速特化,滤波梯度波动。
IndicDetect 发布了针对 Hindi、Telugu 和 Tamil 的 AI 生成文本检测基准,旨在评估检测器在现实分布偏移下的鲁棒性。 该基准包含人工撰写与 LLM 生成文本的配对数据,系统评估了统计和神经检测器在领域、生成器偏移及对抗扰动下的表现。 研究发现检测器存在显著鲁棒性失效,Hindi 在对抗扰动下表现最弱,IndicDetect 为此提供了标准化的数据分割与评估协议。
在竞争风险生存分析中,直接建模累积发生率的损失函数比骨干网络选择更重要,其在两种模态下均优于其他损失。 研究在20个表格和3个病理图像数据集上测试4种骨干网络,发现表格网络在表格数据上领先,预训练视觉编码器在图像上表现更好,二者效果叠加。 该组合(如RealMLP配合累积发生率损失)取得了基准测试中最佳Brier分数,揭示了评估指标C-index的不适当性。
EKLAV 提出保留教师思维链作为上下文但仅监督最终答案的蒸馏方法,在 BRIGHT 榜单 nDCG@10 胜出 41/48 组对比。 该方案将部分推理轨迹移至提示词,训练计算减少 31.6%,推理时间减少 32.7%,超越全轨迹蒸馏 3.0 分。 方法无需学生生成数据或迭代反馈,适用于 pointwise 和 listwise 两种重排序架构。
研究者提出 RubricEM 框架,结合阶段级信用分配与基于反思的元强化学习,用于训练深度研究智能体。 框架通过监督微调植入评分标准引导的结构,使用 Stage-Structured GRPO 优化任务策略,并异步训练共享骨干的反思元策略以复用经验。 RubricEM-8B 模型在四个长文研究基准上超越更大规模的现有开源模型,性能接近专有系统。
论文提出 Rep2Text 方法,利用单个 LLM 隐藏表示重建原始文本,并发现其保留了大量信息。 该方法在约 16 词的短文本上可恢复约一半的原词及整体含义,长文本虽难恢复精确措辞,但主要思想仍可提取,揭示了内部表示的隐私风险。
研究通过微调 LLM 构建检测器,推测 GPT 及另外 23 款 LLM 的中文训练数据污染情况。实验显示 GPT 词表中超 40% 长中文 Token 涉及色情或赌博内容,并推测 GPT-4o 训练数据中特定网页占比约 0.5%。
研究者构建仅基于 1976 至 1995 年文本预训练的 NoLBERT,通过对比微调生成新闻主题,以消除回测中的后见之明偏差。 该模型在 2012 至 2024 年间 126 万篇新闻上表现稳定,预测精度与 LDA 相当,但在各调仓频率下最优模型均亏损,等权组合月净 Sharpe 比率为 1.12。 此方法验证了无标签新闻特征在量化金融中的适用性,尽管未显著跑赢纯价格基准。
summary_zh: 提出了一种用于认证单次运行指标(如AUROC)实际等效性的协议,核心在于两层级(seed x item)方差模型分离运行间差异与项目级噪声。
研究表明,在合成医疗数据中,隐私感知改写能实现比 DP-SGD 和直接微调更优的能力与隐私平衡。 直接微调在能力指标上表现最佳但隐私泄漏最多,而 DP-SGD 虽降低泄漏却大幅牺牲模型能力。 引入“独特性感知”指令来替换私人细节的隐私感知改写,相比朴素改写提升了跨模型隐私保护。
论文提出基于正交分解的多任务主动学习框架,解决现有线性标量化方法的局限性。 核心发现“冲突悖论”:在候选排序中惩罚梯度冲突效果劣于不评分,因此将冲突检测与训练分离。
研究发现过参数化视觉分类器主要依赖神经元符号而非幅值进行分类。仅基于二元符号编码的 K 近邻分类器,精度即可与完整模型相当。 该发现跨架构、激活函数和数据集普遍成立。若翻转 20% 符号,准确率将降至随机水平,证实符号对性能的决定性影响。 这表明离散符号编码可能是比连续权重空间更合适的分析单元,为理解网络泛化机制提供了新视角。
研究人员开发针对中国姓名的汉字性别推断模型,解决拼音形式固有的性别歧义问题。模型在回归任务中达到0.85 R²,分类任务宏平均AUC为0.97,表现优于Namsor、GPT和Claude等现有工具。在APS期刊独立测试中,该方法实现100%姓名性别分类,而现有方法存在20%-100%未分类率,证明汉字级信息对可靠性别推断的关键作用。
在高维岭回归迁移学习框架中,通过确定对等分析证明特定参数下缩放定律达成 Minimax 最优指数。该最优源模型正则化仅依赖源数据,且单遍随机梯度下降微调整合能实现同等最优速率。实验验证了该理论在合成设置及语言模型中的有效性。
构建了首个涵盖感知、求解和推理三大渐进能力的时序大语言模型(TS-LLM)基准套件,包含33.7万训练样本和4.4万评估样本。该套件用于探究时序数据进入LLM的最佳方式及顺序。
提出 LM2LM 方法,用强化学习训练 LLM 生成有效的语言模型改进提案。利用冻结 LLM 作为研究世界模型(RWM)提供可扩展奖励,通过定期执行高排名提案更新上下文以保持可靠性。
研究提出基于 LLM token 概率的方法,通过指定候选 L1 前缀对文本评分来推断母语背景。 该方法在 TOEFL9 等三个数据集上使用 Llama 3.1 8B 和 70B 模型进行评估,结果显示 token 概率评分显著优于直接分类,其中 70B 模型在所有数据集上均达到 SOTA 性能。 这表明预训练 LLM 的 token 概率包含可用于区分 L2 英语生产中 L1 背景的信息。
系统性评估了置信度路由在 LLM 推理降本中的有效性。覆盖 3 个模型族、4 种语言及 3 类任务,共 72 种配置与 42,288 次预测。
MoEvolve 提出双向蒸馏框架,利用激活扩展的 MoE 模型作为教师,使低激活配置模型性能提升最多 22.2 个领域平均分。 该框架采用先恢复后强化策略,将增强能力反向迁移至原低激活模型,优于同预算 RLVR 基线最多 6.5 分。 最终低激活模型常超越其扩展教师,且在多样化 MoE 模型和基准上验证了有效性。
研究提出局部代理网络通过蒸馏预测全局输出,在 Transformer 训练中规避反向传播的激活存储瓶颈。 理论上该方法在深度线性网络中精确,非线性残差模型中可界定梯度误差;在 CIFAR-100 上展示了优于其他局部算法的精度/内存权衡。 该方法在低内存预算下微调大语言模型时,训练速度更快且性能高于零阶学习算法。
提出 Lookahead Editing (LED) 方法,增强掩码扩散模型 MDM 表达能力。在 8 项基准测试中,LED SFT 平均提升 11.4 和 7.7 分。仅用 SFT 微调的 LED-8B 性能超越经预训练和后训练的 LLaDA2.1-16B Q-mode。
现有 Maximal Update Parametrization ($\mu$P) 在差分隐私 (DP) 约束下失效。论文提出 DP-$\mu$P 框架,通过推导信噪比 (SNR) 条件实现零样本学习率迁移。
该研究提出了 Normalizing Flow Maps (NFM),这是一类结合了少数步长生成与可处理样本似然特性的精确可逆 pushforward map,它推广了 Normalizing Flows 和 flow maps。
研究提出AlphaBet智能体强化学习(RL)框架,训练单一LLM策略跨多个预测日期搜索证据、推理并报告概率。 在GLM-4.5-Air模型上,AlphaBet将Forecast-Dojo数据集的Brier score从0.731降至0.626,FutureX数据集从0.612降至0.528。该框架将预测遗憾分解为证据获取差距与概率报告差距,证实多日期训练带来的提升源于信息获取与概率报告两方面。
CoLU 通过更新单个 Transformer 层结合置信度加权正则化,在 TOFU 数据集六项设置及 MUSE 两项指标上全面超越 NPO、SimNPO 等 SOTA 方法。 配合 Brief Layer Screening 策略可减少 60.2% 至 79.7% 运行时间,平均 GPU 显存占用降低 77.4% 至 79.5%。 实现了大语言模型遗忘与保留平衡的高效能新基准。
Sigma-Delta采样器将随机采样与退火步骤嵌入一阶噪声整形循环,推动量化噪声移出低频适应带,使离散权重更新沿崎岖损失景观中的平滑下降轨迹执行。 在CIFAR-10上,13M参数三值模型精度距全精度不足1%;在MatMul-free语言模型(2.7B参数)上,该方法优于直通估计器基线。 与标准量化感知训练相比,该框架降低训练内存占用超50%,速度提升一个数量级,适用于设备端大模型训练与微调。
大型语言模型在临床分类中受虚假特征影响,交换单个性别词会导致高达 53.5% 病例的无关诊断发生改变。 TGS 通过预测轨迹判断修正时机,在 i2b2 数据集上修复 17.7% 错误,仅破坏 1.3% 正确预测;高血压性别切换不一致率从 53.5% 降至 38.0%。 该方法无需反事实数据或虚假特征先验知识,可迁移至 3 个模型族及其他临床生物医学数据集。
1.41亿参数编码器基于77个公开数据集的112万样本训练,在低误报率下PII检测召回率领先。 模型吞吐量提升2-10倍,GPU峰值内存降低94-97%,覆盖多语言及URL中IP地址等场景。
该研究构建了迄今最大规模的带有序标注的视角主义 NLP 数据集,用于评估不同算法在预测多样化人类评分时的表现。 研究发现,算法在处理倾向于与他人保持一致的标注者时表现更好,但标注者的响应率与算法性能之间不存在具有统计学意义的正相关。