同一段文字，在不同模型里有多长？
选择 GPT、DeepSeek 或 Gemini，查看输入 Token 数、词表切片与计算位置。GPT 与 DeepSeek 在本地运行 WASM，Gemini 仅在点击后安全请求 Google 官方接口。
Token 计算工作台
o200k_baseMAX 1,050,000 TOKENS浏览器本地 WASM
GPT-5.6 (Sol)
PROMPT_BUFFER使用 tiktoken.js 的 o200k_base；同一编码家族的 GPT 子模型会得到相同的原始文本计数。
40 字符
Token 词组明细// PIECE_INSPECTOR
空格显示为 ·，换行显示为 ↵，无法单独组成 UTF-8 字符的 Token 显示为字节转义。
INPUT TEXT TO INSPECT INDIVIDUAL TOKEN PIECES AND IDS
CORE PRINCIPLES
为什么不能拿汉字或字符数直接估算？
大语言模型处理的并非人类视觉上的汉字或英文单词，而是一组离散的整数编号。分词器的任务就是把文字切成它认识的最小单元。中英文混排、代码缩进、甚至多敲一个空格，切出来的碎片数量都有可能天差地别。
每家模型的词表大小与编码规则各不相同，所谓“1 个汉字约等于 1.5 个 Token”只是粗略经验，遇到长文本或者编程代码时会有不可忽视的偏差。
发送前测算的三大价值
预防上下文超限：长文本直接发送易超出窗口上限，提前算好可避免内容被模型静默截断。
把控调用成本：调用商业 API 前算出输入侧 Token，避免产生非预期的高昂账单。
跨模型词表对比：直观查看同一段文字在不同模型词表下的切分效率差异与编码特性。
分词器流水线的三阶段
01
预切分与规范化
分词器按 Unicode 与空格、换行和特殊标点规则，把连续文本划分为最初的原始片段。
02
词表贪心匹配
BPE 或 Unigram 算法将片段在模型训练确定的词表中检索拼凑，常用词与汉字块会整合成单个词元。
03
映射整数 ID
每个词表项对应一个固定的数字编号。模型底层只接收这串数字，其长度即为实际消耗的 Token 数。
SPEC REFERENCES