跳到正文
热点事件持续更新

通用进展可替代特定数据

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

一项由Mark Marosi和Peter Antal发表的研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握相关技能。 研究以国际象棋和编程语言为例:未接受“应对将军”指令训练的模型,表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 该发现说明,数据过滤虽能延缓特定能力形成,但所需数据量随模型改进而减少,对语言模型能力监管具有参考价值。

AI 根据报道生成 · 13 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月19日
  1. arXiv · NLP
    通用进展可替代特定训练数据,揭示语言模型能力获取规律

    研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。

本事件热度走势

可比范围当前
7
可比范围峰值
1011月19日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。