聊天机器人在回复前的 3 秒内：从 Token 到 RAG 的处理流程解析

聊天机器人并不直接理解文本，而是将输入切分为 Token 并预测下一个 Token，且模型本身不记忆历史对话。 系统需将对话历史重新发送，利用向量数据库通过 RAG 检索 3 到 5 个语义相近的数据块，结合 System Prompt 与工具调用生成回复。 每个环节的判断都可能影响最终体验，即使使用顶级模型，单点失误也可能破坏整体功能。