大模型应用中的Token优化策略

Token是大模型计费的基本单位，也是影响响应延迟的关键因素。优化Token使用可以大幅降低成本并提升性能。本文分享Token优化的实战策略。

Token不等于字数。中文大约1个汉字=1-2个token，英文大约1个单词=1-1.5个token。System Prompt、用户输入、历史对话、模型输出都消耗token。一次对话的总token = 输入token + 输出token。

精简System Prompt：去掉冗余描述，用简洁的语言表达同样的意思。一个500字的Prompt可以精简到200字而不损失效果。

压缩历史对话：不要传入完整的对话历史。使用摘要压缩（将10轮对话压缩为一段摘要）或滑动窗口（只保留最近3轮）。

优化RAG上下文：检索返回的文档片段可能很长，但只有部分内容相关。使用Reranking筛选最相关的片段，控制总上下文在1000-2000 token以内。

限制输出长度：在Prompt中明确"回答不超过200字"。设置max_tokens参数限制最大输出。

结构化输出：让模型输出JSON而非自然语言，通常更简洁。使用function calling的响应格式比自由文本更短。

精确缓存：完全相同的问题直接返回缓存结果。语义缓存：将问题向量化，相似度超过阈值（如0.95）的问题视为相同问题。缓存命中率通常可以达到20%-40%，显著降低token消耗。

简单任务用便宜的模型（qwen-turbo），复杂任务用贵的模型（qwen-max）。实现智能路由：先分析问题的复杂度，选择合适的模型。平均成本可以降低50%以上。