openai api key限制的进一步展开说明

# 速率限制：保障API的稳定运行和公平使用

## 甚么是速率限制？

速率限制是指API在一定时间内对用户或客户端访问服务器次数所施加的限制。它是API的常见实践，出于以下几个缘由而被设置：

1. 避免滥用或误用API：歹意行动者可能会通过要求来淹没API，试图超载或致使服务中断。通过设置速率限制，OpenAI可以免这类行动产生。

2. 公平地访问API：如果某个人或组织进行过量的要求，可能会影响其他用户使用API的正常体验。通过调理每一个用户的要求数量，OpenAI可以确保更多的人有机会使用API而不会遭到减速的影响。

3. 管理基础设施负载：如果API的要求急剧增加，可能会对服务器造成负担并致使性能问题。通过设置速率限制，OpenAI可以帮助所有用户保持安稳一致的体验。

为了更好地了解OpenAI的速率限制系统如何工作，请完全浏览本文档。我们将提供代码示例和解决常见问题所需的解决方案，以便您在填写“速率限制增加要求表格”之前，能够详细说明如何填写该表格。

## 区别账户类型的速率限制

为了更好地管理速率限制，OpenAI对用户和账户的访问频率进行控制。速率限制主要通过每分钟要求数（RPM）和每分钟令牌数（TPM）来衡量。

下表展现了我们API的默许速率限制。但是，请注意这些限制可以根据您的使用情况在填写“速率限制增加要求”表格以后进行增加。

| 账户类型 | 文本和嵌入 | 聊天对话 | 编辑 | 图象 | 音频 |
|—————-|————-|—————|———-|———-|———–|
| 不要钱试用用户 | 3 RPM，150,000 TPM | 3 RPM， 40,000 TPM | 3 RPM， 150,000 TPM | 5 图象/分钟 | 3 RPM |
| 按需付费用户(前48小时) | 60 RPM，250,000 TPM | 60 RPM， 60,000 TPM | 20 RPM， 150,000 TPM | 50 图象/分钟 | 50 RPM |
| 按量付费用户(48小时后) | 3,500 RPM，350,000 TPM | 3,500 RPM， 90,000 TPM | 20 RPM， 150,000 TPM | 50 图象/分钟 | 50 RPM |

对gpt⑶.5-turbo⑴6k模型，即用即付用户的TPM限制是上表中值的2倍，分别为120K TPM和180K TPM。

需要注意的是，区别模型的TPM单位区别。例如，类型1 TPM等价于davinci模型的1 token/分钟，curie模型的25 tokens/分钟，babbage模型的100 tokens/分钟，ada模型的200 tokens/分钟。这意味着，相对davinci模型，ada模型每分钟可以发送大约200倍的令牌。

同时，需要注意的是速率限制可能由多个选项共同触发，具体取决于哪一个选项先产生。例如，即便在要求中没有发送40k令牌，您可能依然会触发20个要求中的任何一个。因此，如果您的速率限制为每分钟60个要求和每分钟150k davinci tokens，这二者中的任何一项都会限制您的使用。如果您的最大要求数/分钟为60，则您应当能够每秒发送一个要求。如果在到达速率限制后的800毫秒内发送一个要求，程序将会停顿200毫秒，然后再次发送要求；否则，后续要求将会失败。对默许值3,000 requests/min，客户可以在默许值下每20ms或0.02秒有效地发送一个要求。

当您遇到速率限制毛病时，毛病信息会类似于：Rate limit reached for default-text-davinci-002 in organization org-{id} on requests per min. Limit: 20.000000 / min. Current: 24.000000 / min。这意味着您在短时间内进行了过量的要求，API谢绝进一步要求直至指定时间过去。

同时，我们 API 提供的每一个模型都有一个固定数量的令牌，用于接收输入并进行处理。不可更改模型接收的令牌数上限。例如，如果使用text-ada-001模型，则每一个要求最多可以发送2048个令牌。

## 如何有效处理速率限制

为了不频繁出现速率限制毛病，您可以简单地在代码中添加等待并重试调用API的机制。具体的做法是：当API返回“429 Too Many Requests”状态码时，暂停履行代码段，并根据已重试的次数计算出等待时间t，然后再次尝试调用API方法；如果再次返回“429 Too Many Requests”状态码，则再暂停t秒钟以后重复以上操作，直至成功获得所需数据。

指数回退是一种有效的处理方法，当第一次触发速率限制毛病时，对要求进行短暂休眠并重试不成功的要求。如果要求依然不成功，则增加休眠的时间并重复该进程。这类方法具有以下优点：

1. 自动重试使您可以从速率限制毛病中恢复，而不会中断流程或丢失数据。
2. 指数回退意味着可以先尝试快速重试，然后从较长延迟中取得更多时间，在前几次重试失败后也能够受益。
3. 添加随机抖动可以延缓多个重试操作在相同时间触发的效果。

以下是使用指数回退的Python示例解决方案：

“`python
import openai
from tenacity import (
retry,
stop_after_attempt,
wait_random_exponential,
)

@retry(wait=wait_random_exponential(min=1, max=60), stop=stop_after_attempt(6))
def completion_with_backoff(**kwargs):
return openai.Completion.create(**kwargs)

completion_with_backoff(model=”text-davinci-003″, prompt=”Once upon a time,”)
“`

请注意，上述示例使用了第三方库`Tenacity`来实现指数回退。OpenAI对此解决方案的可靠性和安全性不做任何保证。

另外一个提供退避和重试功能修饰符的Python库是`backoff`：

“`python
import backoff
import openai

@backoff.on_exception(backoff.expo, openai.error.RateLimitError)
def completions_with_backoff(**kwargs):
return openai.Completion.create(**kwargs)

completions_with_backoff(model=”text-davinci-003″, prompt=”Once upon a time,”)
“`

如果您不想使用第三方库，您也能够根据以下示例自行实现自己的回退逻辑：

“`python
import random
import time
import openai

def retry_with_exponential_backoff(
func,
initial_delay: float = 1,
exponential_base: float = 2,
jitter: bool = True,
max_retries: int = 10,
errors: tuple = (openai.error.RateLimitError,),
):
def wrapper(*args, **kwargs):
num_retries = 0
delay = initial_delay

while True:
try:
return func(*args, **kwargs)
except errors as e:
num_retries += 1

if num_retries > max_retries:
raise Exception(
f”Maximum number of retries ({max_retries}) exceeded.”
)

delay *= exponential_base * (1 + jitter * random.random())
time.sleep(delay)
except Exception as e:
raise e

return wrapper

@retry_with_exponential_backoff
def completions_with_backoff(**kwargs):
return openai.Completion.create(**kwargs)
“`

请注意，这些示例均为常见利用场景的一般示例，实际使用情况将基于具体的实现和使用情况而有所区别。

## 处理速率限制的其他技能

以下是一些处理速率限制的其他技能：

– 分批处理要求：

如果您到达了每分钟要求次数的限制，但在每分钟令牌方面还有可用容量，可以将多个任务分批处理到每一个要求中，以增加吞吐量。这将允许您处理更多的令牌，特别是对我们较小的模型。只需将多个要求的提示分组为一个字符串列表，并传递给API的prompt参数便可。

“`python
import openai

num_stories = 10
prompts = [“Once upon a time,”] * num_stories

response = openai.Completion.create(
model=”curie”,
prompt=prompts,
max_tokens=20,
)

stories = [“”] * len(prompts)
for choice in response.choices:
stories[choice.index] = prompts[choice.index] + choice.text

for story in stories:
print(story)
“`

– 申请速率限制增加：

如果您认为您有必要提高速率限制，并且有支持数据来支持这一点，可以填写“速率限制增加申请表”来申请。请提供关于当前使用情况或基于历史用户活动预测的统计信息，以帮助评估您真正需要的增加。

请注意，速率限制增加需要时间进行审核，并且不支持对不要钱测试端点的增加要求。如果您准备发布产品，请斟酌分阶段发布，并在10天内搜集使用情况数据，然后根据数据提交正式的速率限制增加要求。

我们了解到遭到速率限制限制可能会带来的挫败感，并希望为每一个人提供更高的默许限制。但由于共享容量的限制，我们只能根据符合安全策略和具有支持数据的要求批准速率限制的增加。没法提高不要钱测试端点和ChatGPT的频次上线，但您可以加入ChatGPT专业版的访问名单。

以整体来讲，我们致力于为开发人员提供范围化和成功的API使用。在申请速率限制增加时，请确保根据区别用例场景提供充分的支持数据和公道的需求。

openai api key限制的常见问答Q&A