AI Token 计数怎么算:GPT、Claude、Gemini 的 Token 数与成本指南
从 Token 是什么讲到为什么要算 Token,拆解中英文 Token 数差异、GPT 和 Claude 的分词区别,再用一段真实文本演示如何估算成本。
AI Token 计数怎么算:GPT、Claude、Gemini 的 Token 数与成本指南
第一次收到大模型账单的时候,我盯着「消耗 184 万 token」这一行愣了很久。我明明只调了几百次接口,每次发过去的文字也就几段话,token 这个东西到底是怎么从一段中文里冒出几千个的?后来真正把分词规则、计费方式、中英文差异都搞清楚,我才敢拍着胸脯给团队报预算。这篇就把我踩过的坑一次讲明白。
Token 是什么:模型眼里的最小单位
模型不是按「字」也不是按「单词」来读文本的,它读的是 token,也就是分词单位。一个 token 可能是一个完整单词,可能是单词的一段,也可能是一个标点或者一个汉字。模型把一长串文字切成一个个 token,再把每个 token 转成数字喂进网络。所以你发过去的内容越长,token 越多,模型要处理的东西就越多。
举个直观的例子,英文单词 tokenization 在 GPT 的 cl100k_base 词表里会被切成 token、ization 两个 token,而常见短词像 the、cat 各自就是一个 token。这种「常见词整块、生僻词拆碎」的切法,就是 BPE(字节对编码)在做的事。
为什么非得算 Token:上下文限制和计费
算 token 不是闲得慌,它直接卡两条硬线。
第一条是上下文限制。每个模型一次能吃下的 token 有上限,超了就会报错或者被截断。你以为发出去的完整文档,可能后半截根本没进模型。
第二条是计费。主流模型按 token 收费,而且输入和输出分开算,输出单价往往比输入还贵。截至 2026 年的公开报价(来源:各厂商官网,单位 USD / 1M tokens):GPT-4 Turbo 输入 $10、输出 $30;Claude Sonnet 4 输入 $3、输出 $15;Gemini 2.0 输入 $0.5、输出 $1.5。同一段文字,选错模型,账单能差好几倍。
中英文 Token 数差异:一个汉字能顶好几个 token
这是最容易被忽略、也最容易让账单爆掉的地方。
英文有个好用的经验值:约 1 个英文单词 ≈ 1.3 token,或者换算成字符约 4 个字符 1 token(GPT cl100k_base)。中文就完全不是这个规律了。一个汉字在估算里通常按 1 到 2 个 token 算,而真实的 BPE 经常把一个汉字切成 2 甚至 3 个子词 token。也就是说,同样信息量的内容,中文消耗的 token 往往比英文还多。
我自己做过一次对比:一段约 1000 字的中文产品文案,粗估按 1 字 1 token 是 1000,但实际在 GPT-4 上跑下来接近 1500 到 2000 token。如果你按英文经验值给中文项目报预算,几乎一定会低估。
GPT 和 Claude 的分词差异
很多人以为 token 数是文本的固有属性,其实每家模型的分词器都不一样。
Claude 的分词器在英文上平均约 3.5 字符 1 token,GPT-4 的 cl100k_base 约 4 字符 1 token。所以同样一段英文,Claude 切出来的 token 数往往略多于 GPT。但别急着下结论:Claude 每 token 的输入单价更低(Sonnet 4 是 $3/M,GPT-4 Turbo 是 $10/M),所以哪怕 token 数多一点,总账单常常反而是 Claude 更便宜。这也是为什么不能只看 token 数,得把单价一起算进去。
怎么估算成本:用一段真实文本走一遍
假设你要让模型润色一封约 400 个英文单词的邮件,并期望它返回差不多等长的修改稿。
输入约 400 词 × 1.3 ≈ 520 token,输出按等长再算 520 token。
在 Claude Sonnet 4 上:输入 520 × $3 / 1,000,000 ≈ $0.00156,输出 520 × $15 / 1,000,000 ≈ $0.0078,单次合计约 $0.0094。看着不多,但如果这是个每天被调用一万次的功能,一天就是 $94,一个月接近三千美元。这就是为什么我现在改任何 prompt 之前,都会先把 token 量称一遍。
把这套估算手动算一遍很容易出错,直接用 AI Token 计数器 把文本粘进去,四个模型的 token 数和费用并排出来,还能切换预计回复长度看输出侧的成本。需要更细的多模型对比和按量定价时,再配合 LLM 价格计算器 一起看。如果只是想先数清楚一段文案有多少字、多少词再倒推 token 量级,字数统计 也能帮上忙。
几条记到肉里的经验
- 估算就是估算,真实 tokenizer 和厂商价格随时可能不同,对账请用官方工具。
- 永远别忘了输出也要单独计费,而且通常比输入贵。
- 一个用户动作不等于一次模型调用,产品里常常串了好几次,token 是要叠加的。
把 token 当成一种「按量计费的水电」,你就会自然而然地在贴进控制台之前先关心一下用量,而不是等账单到了才追悔。
Made by Toolora · Updated 2026-06-13