一、三个硬数字，先把问题摆平

蚂蚁集团与中国信通院 2026 年的报告《Token 效率：AI 时代绿色计算的关键变量》给了三组数据，分别对应硬件、负载和能源：

利用率上不去的原因很具体：显存访问、通信、同步、数据加载四项拖累，GPU 大部分时间在等数据，不在算。

二、报告提出的新指标：Token 效率

它要衡量的是"每个 token 到底承载了多少智能、花了多少电"。这个角度比"每秒多少 token"更接近真实成本——因为产出快不等于有用，废话多的时候，快只是更快地浪费。

问题的根子不在芯片不够快，而在大量 token 被白白烧掉了。

三、token 是怎么被烧掉的

• 参数更大。模型规模上去，每个请求的基础开销随之上升。
• 上下文更长。把几十页材料整段塞进去，模型每次都要重读一遍。
• Agent 任务编排更复杂。一个任务拆成十几步，每步都带全量上下文，token 成倍增长。

这三件事都在同方向推高消耗，而它们恰好是"让 AI 更能干"的常用手段——所以效率问题不是省钱技巧，是路线选择。

四、对普通使用者的四条省钱做法

个人用户不建机房，但同样的道理能直接省下订阅额度和 API 费用：

• 别每次都重贴长材料。同一份文档反复追问时，用支持缓存的接口（或把文档放进项目/知识库），命中的部分单价通常低得多。
• 问题写清楚，比追问三轮便宜。一次说明背景、目标、格式要求，比来回纠正省 token 得多。
• 短任务别开"深度思考"。改错别字、润色一段话，用快模型；推理模型适合多步计算和逻辑分析。
• 让输出有格式约束。要求"表格、三行以内、不要解释"，能显著压掉冗余输出——而输出 token 通常是最贵的那部分。

五、对企业侧的三条判断

• 先量再买。利用率不到 30% 的集群再扩容，只是把浪费放大。先看现有卡的真实占用曲线。
• 把推理成本单独核算。推理已是主要开销，混在整体预算里看不清，就没法优化。
• 把 token 效率写进验收。同一个任务，用更少的 token 达到同等质量，才算真的优化，而不是换个更贵的模型掩盖问题。