What are tokens and how to count them?(chatgpt token limit openai)

chatgpt token limit openai的进一步展开说明

【进一步展开说明】
Tokens是甚么？

Tokens可以被看做是单词的构成部份。在API处理提示之前，输入会被拆分成tokens。这些tokens其实不完全依照单词的起始或结束位置进行拆分，tokens中可以包括尾随空格乃至是子词。以下是一些关于tokens长度的有用经验法则：

1 个token约等于 4 个英文字符

1 个token约等于 ¾ 个单词

100 个tokens约等于 75 个单词

或

1⑵个句子约等于 30 个tokens

1 段落约等于 100 个tokens

1,500个字约等于 2048个tokens

为了更好地了解tokens的情况，您可使用我们的互动tokenizer工具，它可以帮助您计算tokens的数量并查看文本是如何被拆分的。另外，如果您想以编程方式对文本进行分词，可使用Tiktoken，它是一个专门用于OpenAI模型的快速BPE分词器。您还可以尝试一些其他类似的库，例如Python的transformers包或node.js的gpt⑶-encoder包。

Tokens限制

根据所使用的模型的区别，要求可使用的tokens最多为4097个，这些tokens在提示和补全之间共享。如果您的提示使用了4000个tokens，那末补全部份最多只能有97个tokens。

目前这个限制是一种技术限制，但在这个限制范围内通常有创造性的解决问题的方法，例如缩减提示的内容，将文本分成更小的部份等。

Tokens定价

API根据区别的模型类型提供多种价格点。每一个模型都有一系列的能力，其中davinci是最强大的模型，ada是最快的模型。对这些区别模型的要求价格也是区别的。您可以在这里找到有关tokens定价的详细信息。

探究tokens

API根据语料数据中的上下文处理单词。GPT⑶将提示转换为tokens列表，处理提示，然后将预测的tokens转换回我们在响应中看到的单词。

对我们来讲，可能看起来是相同的两个单词，在tokens生成时可能会生成区别的tokens，这取决于它们在文本中的结构。斟酌一下API如何根据文本内上下文生成单词‘red’的tokens值：

在上面的第一个例子中，表示‘red’的token“2266”包括一个尾随空格。

代表‘Red’的token“2296”（带有一个前导空格并以大写字母开头）与表示‘red’的token“2266”（小写字母开头）是区别的。

当‘Red’用于句子开头时，生成的token不包括前导空格。token“7738”与上面两个例子中的单词区别。

视察：

一个token越有可能/频繁，其对应的token数就越低：

这三个句子中句号表示的token是相同的（“13”）。这是由于在语料数据中，句号的用法在语境上非常类似。

对单词‘red’，生成的token根据其在句子中的位置而变化：句子中间的小写字母：‘ red’-（token：“2266”）句子中间的大写字母：‘ Red’-（token：“2297”）句子开头的大写字母：‘Red’-（token：“7738”）

利用tokens知识进行更好的提示设计

以空格结尾的提示

现在我们知道tokens可以包括尾随空格字符，所以需要注意的是以空格字符结尾的提示可能会致使输出的质量较低。这是由于API已在其tokens字典中斟酌到了尾随空格。

使用logit_bias参数

可使用logit_bias参数设置特定tokens的偏差，以修改这些tokens在补全中出现的几率。举个例子，假定我们正在构建一个AI烘焙助手，该助手对用户的鸡蛋过敏非常敏感。

当我们使用提示‘香蕉面包的食材是’运行API时，响应将包括‘鸡蛋’作为第二个食材，几率为26.8%。

注意：在Playground当选择“完全光谱”来查看完成几率。

由于我们的AI烘焙助手对鸡蛋过敏很敏感，我们可以利用tokens的知识，在logit_bias参数中设置偏差，以禁止模型生成包括任何情势的‘鸡蛋’这个词的响应。

首先，使用此分词工具来辨认我们需要为其设置偏差的tokens。

tokens:

表示单数的带有尾随空格：‘ egg’-“5935”

表示复数的带有尾随空格：‘ eggs’-“9653”

表示‘Egg’或‘Eggs’时生成的子词token- ‘gg’：“1130”

logit_bias参数接受范围在⑴00到+100之间的偏差值，其中极端值将致使相关token的被制止（⑴00）或是排他性选择（100）。

将logit偏差添加到提示中将修改包括‘鸡蛋’（及其变体）这个词在香蕉面包提示的响应中出现的几率。以上这个提示生成的响应将不包括任何鸡蛋！

chatgpt token limit openai的常见问答Q&A