arXiv · NLP· Mahmoud Alyosify, Mirna Imbabi, Eman Elkhamisi, Rahatara Ferdousi·· 5 小时前AI 评分35
MinimalLM：无需训练的语言模型冗长输出控制框架
Say Less, Mean Better: Training-Free Verbosity Control for Language Models
AI 导读
MinimalLM 通过结合不确定性感知停止机制与结构完整性保护，实现了无需训练的 LLM 冗长输出控制。在 330 个问题的评估中，该框架减少 47.6% 的 token 生成量，提速 19-68%，且消除了结构性截断，平均质量得分达 8.04/10。它在不修改模型参数的前提下，平衡了生成效率与回答完整性，为高效推理提供了轻量级解决方案。
来源：arXiv · NLP · arxiv.org