arXiv · NLP· Tal Oved, Roi Pony, Oshri Naparstek, Udi Barzelay·· 6 小时前AI 评分30
LLM 进化搜索策略应按 Token 而非提案数量对比
LLM Evolutionary Search Strategies Should be Compared by Tokens
AI 导读
summary_zh: 该研究指出当前 LLM 进化搜索评估中按提案计数掩盖了真实计算成本，导致方法间公平性缺失。 重放 600 次运行日志显示单次提案成本在 16k 至 39k tokens 间波动；匹配 token 预算后，进化搜索相对独立采样的优势在 15 个任务-方法组合中的 12 个里消失或低于 5%。
来源：arXiv · NLP · arxiv.org