概述

ChatGPT模型的上下文限制为4,096个标记，对实际利用效果较差。GPT⑷的完全版本将上下文长度推至32,768个标记，相当于3,000个单词的长度。

ChatGPT模型上下文大小的变化

ChatGPT的上下文长度增加至32,768个标记，对应大约3,000个单词。

OpenAI的文档中指出，ChatGPT经过优化的GPT⑷版本上下文长度为8,192个标记。

通过扩大上下文窗口，可以提交长达8000个词的内容，相当于约16页。

ChatGPT API上下文大小的限制

ChatGPT模型能够援用当前对话中大约3000个词（或4000个标记）的内容。

ChatGPT的上下文长度在GPT⑷之前限制为4,096个标记，以后增加到了32,768个标记。

调剂ChatGPT API上下文长度

ChatGPT API的默许上下文长度为2,048个标记，最大可设置为4,096个标记。缩小上下文长度可能致使回复较短。

当消息致使超过模型上下文长度限制时，会出现”InvalidRequestError”并提示模型的最大上下文长度为8,192个标记。

使用ChatGPT API的搜索指南

ChatGPT API的上下文大小是搜索时要斟酌的一个关键因素。

斟酌查询或对话的长度，确保不超过模型的上下文大小限制。

如果查询或对话长度超过上下文大小限制，需要进行适当的上下文截断或分段处理。

在多轮对话中，保存足够的上下文以确保对话的联贯性。

可以根据利用需求调剂API要求的上下文长度。

触及长文本的查询时，可以选择适合的截断方式，以保存最相关的上下文信息。

总结

ChatGPT API的上下文大小限制已从4,096个标记扩大到32,768个标记。用户可以根据实际需求在API要求中设置适当的上下文长度。对超过上下文限制的查询或对话，需要进行截断或分段处理，以保证模型的准确理解和联贯应对。