先计算预算
从每块上限中扣除重复附加指令占用的 Token,得到正文真正可以使用的空间。
提示词分割
使用与首页相同的本地分词器,在不打乱正文顺序的前提下生成可复制分块。Gemini 依赖远程接口,不参与逐段拆分。
正文按段落、句子、空白与字符边界依次回退;DeepSeek 词表仅在点击后加载。
工作原理
可以把它想成装箱:每个箱子都有 Token 容量,工具尽量在段落或句子结束处封箱,而不是从一句话中间硬切开。
它先用所选模型的本地分词器反复计数,再从自然边界向更细的边界逐级回退,所以每一块都能在保持原文顺序的同时满足上限。
从每块上限中扣除重复附加指令占用的 Token,得到正文真正可以使用的空间。
依次尝试段落、句末标点和空白边界;只有找不到合适位置时,才按完整 Unicode 字符切分。
为每一块追加指令后重新计数,显示实际 Token 数,再提供独立复制操作。
理解边界:这是客户端的文本拆分策略,不是模型厂商提供的“语义分段”能力。它只保证原始文本与附加指令不超过设定值;系统消息、聊天模板和平台特殊 Token 仍需另外预留。