个人能申请openaiapi吗的进一步展开说明

甚么是速率限制？

速率限制是指在特定时间段内，服务器对用户或客户真个访问次数进行限制的一种机制。速率限制是 API 经常使用的做法，它们的实行有几个区别的缘由：

为何要实行速率限制？

• 避免滥用或误用 API：歹意行动者可能会通过向 API 发送大量要求试图使其过载或致使服务中断。通过设置速率限制，OpenAI 可以避免这类活动的产生。
• 确保公平访问：通过限制单个用户可以发出的要求数量，OpenAI 确保每一个人都能够公平地访问 API，而不会致使速度降落。
• 管理负载：对 API 的急剧增加的要求可能会对服务器造成负担并致使性能问题。通过设置速率限制，OpenAI 可以帮助在其基础设施上管理聚合负载，从而为所有用户提供流畅和一致的体验。

OpenAI 在组织级别而非用户级别实行速率限制，并以每分钟要求数（RPM）和每分钟令牌数（TPM）作为衡量标准。在使用区别类型的模型时，每分钟令牌数会有所区别：

类型	每分钟令牌数（TPM）
达芬奇	1
居里	25
白菜	100
阿达	200

例如，与模型 ada 相比，使用模型 davinci 您每分钟可以发送大约 200 倍的令牌。

默许速率限制

下表显示了 OpenAI API 的默许速率限制：

文本和嵌入

• 不要钱试用用户：20 转/分钟
• 按需付费用户（前 48 小时）：60 转/分钟
• 按量付费用户（48 小时后）：3,500 转/分钟

聊天

• 不要钱试用用户：20 转/分钟
• 按需付费用户（前 48 小时）：60 转/分钟
• 按量付费用户（48 小时后）：3,500 转/分钟

法典

• 不要钱试用用户：20 转/分钟
• 按需付费用户（前 48 小时）：20 转/分钟
• 按量付费用户（48 小时后）：20 转/分钟

编辑

• 不要钱试用用户：20 转/分钟
• 按需付费用户（前 48 小时）：20 转/分钟
• 按量付费用户（48 小时后）：20 转/分钟

图象

• 不要钱试用用户：50 张图片/分钟
• 按需付费用户（前 48 小时）：50 张图片/分钟
• 按量付费用户（48 小时后）：50 张图片/分钟

声音

• 不要钱试用用户：50转
• 按需付费用户（前 48 小时）：50转
• 按量付费用户（48 小时后）：50转

需要注意的是，根据具体情况，您可能会同时到达 RPM 和 TPM 速率限制。例如，即便要求中的令牌数量没有到达 40k，如果您发送了 20 个包括 100 个令牌的要求，也会到达限制。

值得注意的是，当 GPT⑷ 推出时，模型将有更严格的速率限制以满足需求。gpt⑷-0314 的默许速率限制为 40k TPM 和 200 RPM，gpt⑷⑶2k-0314 的默许速率限制为 80k PRM 和 400 RPM。如果您需要提高您的速率限制，请与我们联系。

速率限制毛病

当您到达速率限制时，API 将谢绝进一步的要求直到经过一段特定的时间。速率限制毛病信息以下所示：

组织 org-{id} 中每分钟要求的 default-text-davinci-002 到达速率限制。限制：20.000000/分钟。当前：24.000000/分钟。

如果您到达速率限制，这意味着您在短时间内发送了过量的要求。

如何避免速率限制毛病

为了不速率限制毛病，你可以尝试以下几种方法：

• 使用指数退避自动重试要求：在遇到速率限制毛病时，可以进行短暂的休眠，然后重试该要求。如果依然不成功，可以增加休眠时间并重复该进程，这一直延续到要求成功或到达最大重试次数为止。
• 使用批处理：如果您到达每分钟要求的限制，但每分钟仍有可用的令牌容量，可以通过将多个任务分批处理到每一个要求中来提高吞吐量。
• 限制用户使用：为单个用户在指定时间范围内设置使用限制，以避免自动和大量滥用。

不成功的要求会影响您的每分钟限制，因此不断重新发送要求将不起作用。

使用随机指数退避自动重试要求

示例 1：使用 Tenacity 库

“`python
import tenacity

@tenacity.retry(
wait=tenacity.wait_random_exponential(
multiplier=1, min=1, max=10
),
stop=tenacity.stop_after_attempt(3),
)
def make_api_request():
response = make_request_to_api()
if response.status_code == 429:
raise tenacity.TryAgain
“`

示例 2：使用退避库

“`python
import backoff

@backoff.on_exception(
backoff.expo,
some_exception_class,
max_time=60,
factor=2
)
def make_api_request():
response = make_request_to_api()
if response.status_code == 429:
raise some_exception_class
“`

示例 3：手动退避实现

“`python
import time
import random

def make_api_request():
attempt = 0
while attempt < 3: response = make_request_to_api() if response.status_code == 429: sleep_time = 2 ** attempt + random.random() time.sleep(sleep_time) attempt += 1 ```

使用随机指数退避算法的自动重试要求是避免速率限制毛病的简单方法，它可以帮助您从速率限制毛病中恢复而不会崩溃或丢失数据。

如何申请提高速率限制

如果您需要提高您的速率限制，请填写表格来申请相应的限制提高：

• 填写您要申请提高速率限制的 API 名称和模型名称。
• 说明为何您需要提高速率限制和您的使用处景。
• 提供包括每分钟令牌数、估计要求数和用户数量在内的相关数据和证据。
• 如果您没法提供相关数据和证据，建议您通过分阶段发布方法来获得数据，并在有数据支持的情况下提交正式的速率限制提高要求。

请记住，提高速率限制的要求需要经过审核，可能需要 7⑴0 个工作日来取得批准。

最后，需要注意的是，没有支持数据的大型速率限制增加要求极可能会被谢绝。因此，在有数据支持的情况下，尽早计划并提交要求是公道的做法。

个人能申请openaiapi吗的常见问答Q&A