openai api token limit的进一步展开说明

如何规避OpenAI GPT⑶令牌限制

**更新：本文已包括ChatGPT API选项（model=”gpt⑶.5-turbo”）**

如果您正在浏览本文，那末您已遇到了OpenAI的GPT⑶模型的令牌限制。各种模型的限制在这里提供。

为了克服这个限制，OpenAI提供了一个很好的示例——使用人类反馈总结书籍（https://openai.com/blog/summarizing-books/）的解决方案，具体以下所示：

1. 将原始文本分成几个部份，然后对每一个部份进行总结。
2. 再次对部份总结进行总结，得到更高层次的总结。
3. 不断重复总结进程，直到取得完全的总结。

我在撰写文章《使用OpenAI GPT⑶ API创建会议记要》时遇到了类似的问题，由于大多数会议记录都超过了4000个令牌。

为了解决这个问题，我提供了三个选项：

1. NLTK（Natural Language Toolkit）。使用该选项进行令牌计数与OpenAI的分词器不完全匹配，但差异很小。
2. Transformers。使用该选项进行令牌计数与OpenAI的分词器完全匹配。
3. Tiktoken。使用该选项进行令牌计数与OpenAI的分词器完全匹配，并且比Transformers更快。

**NLTK**

NLTK是用于构建处理人类语言数据的Python程序的领先平台。下面的代码是在Google Colab上开发的，但您可使用任何合适您的IDE。虽然某些代码是针对Google Colab的，但也能够在其他平台上使用。

操作步骤

以下内容是本教程的先决条件：

Python包：nltk（自然语言处理工具包）

Python包：openai

安装Python包

“`
%%writefile requirements.txt

openai

nltk

%pip install -r requirements.txt
“`

导入Python包

“`
import platform

import os
“`

使用NLTK进行令牌计数

“`python
import nltk

def count_tokens_nltk(text):
tokens = nltk.word_tokenize(text)
return len(tokens)

# Example usage
text = “This is an example text.”
token_count = count_tokens_nltk(text)
print(token_count)
“`

上面的代码示例演示了怎样使用NLTK进行令牌计数。它首先使用`nltk.word_tokenize`将文本拆分为单词列表，然后返回列表的长度，即令牌数。

使用Transformers进行令牌计数

“`python
from transformers import GPT2Tokenizer

def count_tokens_transformers(text):
tokenizer = GPT2Tokenizer.from_pretrained(“gpt2”)
tokens = tokenizer.tokenize(text)
return len(tokens)

# Example usage
text = “This is an example text.”
token_count = count_tokens_transformers(text)
print(token_count)
“`

上面的代码示例演示了怎样使用Transformers进行令牌计数。它使用了`GPT2Tokenizer`从预训练的GPT⑵模型中加载了一个分词器，并使用它将文本拆分为令牌列表。最后，它返回令牌列表的长度，即令牌数。

使用Tiktoken进行令牌计数

“`python
from tiktoken import Tokenizer

def count_tokens_tiktoken(text):
tokenizer = Tokenizer()
tokens = tokenizer.tokenize(text)
return len(tokens)

# Example usage
text = “This is an example text.”
token_count = count_tokens_tiktoken(text)
print(token_count)
“`

上面的代码示例演示了怎样使用Tiktoken进行令牌计数。它使用了`tiktoken.Tokenizer`加载了一个分词器，并使用它将文本拆分为令牌列表。最后，它返回令牌列表的长度，即令牌数。

通过以上介绍，我们可使用NLTK、Transformers和Tiktoken这三种方法来计算文本的令牌数。在您的项目当选择其中一种方法便可。

openai api token limit的常见问答Q&A