arXiv · ML· Chenhe Yang, Yuhuan Lyu, Tianyang Hu·· 9 小时前AI 评分30
OrderGPT:将生成顺序作为可学习的建模选择
OrderGPT: Generation Order as a Learnable Modeling Choice
AI 导读
OrderGPT 基于 Any-Order GPT 构建,通过无标准顺序监督学习任务级生成顺序,在语言、人体姿态和表格数据中提升下游建模指标。 该方法利用随机揭示前缀产生的注意力模式构建互依图,通过谱教师推导连续生成优先级,并集成轻量级 OrderMLP 在单次训练中完成顺序学习。代码已开源,论文共 27 页,包含 5 个图表。
来源:arXiv · ML · arxiv.org