一张图看懂「Token」:AI 是按字收费还是按词
用 ChatGPT 这类大模型时,常听“Token 有限”“按 Token 计费”。Token 到底是啥?
一、Token = 模型眼中的“积木块”
模型不直接读“字”或“词”,而是把文本切成一块块叫 Token 的小单元。中文里,一个 Token 可能是一个字、半个词;英文里常是词根或几个字母。
可以把它想成乐高积木:一句话被拆成一堆小积木,模型一块块读、再一块块拼出回答。
二、为什么按 Token 算钱和长度
- 计费:API 通常按“输入 + 输出”的 Token 总数收费,所以同样的话,越啰嗦越贵。
- 长度上限:模型一次能处理的 Token 数有上限(上下文窗口),超了就装不下,得截断或摘要。
三、几句实用的
- 想省钱省额度:提示词写简洁,别堆客套话。
- 长文档别整篇塞进去:先摘要或检索相关片段(这就引出 RAG,见下篇)。
- 不同模型切法不同,同一句话 Token 数可能不一样,但量级近似。
一句话:Token 是模型处理文本的“基本积木块”,不是字也不是词;AI 按 Token 算钱、也按 Token 限制能聊多长,所以说话精练更划算。