跳到正文
arXiv · ML· Yulun Wu, Sravan Kumar Ankireddy, Samuel Sharpe, Nikita Seleznev, Dehao Yuan, Hyeji Kim, Nam H. Nguyen·· 11 天前AI 评分32

ReinPatch 通过强化学习实现动态分词及零样本迁移

Dynamic Tokenization via Reinforcement Patching: End-to-end Training and Zero-shot Transfer

AI 导读

ReinPatch 提出一种结合强化学习与下游骨干模型的序列分词框架,以优化动态分词策略。 该方法使用 GRPG 将分词边界放置建模为离散决策过程,避免了软离散化,支持严格压缩率约束。 该设计允许分词模块作为独立的基础分词器使用,为社区提供性能驱动分词行为的实证洞察。

来源:arXiv · ML · arxiv.org