Token Paper
菜单

提示词分割

把长提示词拆成模型装得下的部分。

使用与首页相同的本地分词器,在不打乱正文顺序的前提下生成可复制分块。Gemini 依赖远程接口,不参与逐段拆分。

正文按段落、句子、空白与字符边界依次回退;DeepSeek 词表仅在点击后加载。

设置上限后生成分块。原始正文顺序保持不变,附加指令会重复出现在每一块末尾。

工作原理

提示词是怎样被安全拆开的?

可以把它想成装箱:每个箱子都有 Token 容量,工具尽量在段落或句子结束处封箱,而不是从一句话中间硬切开。

它先用所选模型的本地分词器反复计数,再从自然边界向更细的边界逐级回退,所以每一块都能在保持原文顺序的同时满足上限。

01

先计算预算

从每块上限中扣除重复附加指令占用的 Token,得到正文真正可以使用的空间。

02

优先保留语义

依次尝试段落、句末标点和空白边界;只有找不到合适位置时,才按完整 Unicode 字符切分。

03

逐块复核

为每一块追加指令后重新计数,显示实际 Token 数,再提供独立复制操作。

理解边界:这是客户端的文本拆分策略,不是模型厂商提供的“语义分段”能力。它只保证原始文本与附加指令不超过设定值;系统消息、聊天模板和平台特殊 Token 仍需另外预留。