跳到正文
Hacker News LLM· dimoncelli·· 3 小时前AI 评分53

Wiretuple 发布:利用位置元组降低 LLM 结构化输出 Token 消耗

Show HN: Wiretuple – Cut LLM structured-output tokens with positional tuples

AI 导读

Wiretuple 是一个用 Go 编写的单二进制 HTTP 反向代理工具,通过位置元组将重复 JSON 键重写为前置元组,能无损削减 LLM 结构化输出和函数调用 35%–60% 的输出 Token。它支持 OpenAI 与 Anthropic API,兼容非流式和 SSE 流式请求,并内置盈亏平衡门控机制,仅在净节省比例高于指定阈值时重写请求。

来源:Hacker News LLM · github.com