openai账号chatgpt3.5与4.0速率限制详解

以下资料文档来源于官方文档

速率限制

概述

甚么是速率限制?

速率限制是 API 对用户或客户端在指定时间段内可以访问服务器的次数施加的限制。

为何我们有速率限制?

速率限制是 API 的常见做法,实行速率限制有几个区别的缘由:

  • 它们有助于避免滥用或误用 API。例如,歹意参与者可能会用要求淹没 API,试图使其过载或致使服务中断。通过设置速率限制,OpenAI可以避免此类活动。
  • 速率限制有助于确保每一个人都可以公平访问 API。如果一个人或组织发出过量的要求,则可能会使其他人的API堕入窘境。通过限制单个用户可以发出的要求数量,OpenAI 确保最多的人有机会使用 API,而不会遇到速度变慢的情况。
  • 速率限制可以帮助 OpenAI 管理其基础设施上的总负载。如果对 API 的要求急剧增加,则可能会对服务器造成负担并致使性能问题。通过设置速率限制,OpenAI 可以帮助为所有用户保持流畅一致的体验。
  • 请完全浏览本文档,以更好地了解OpenAI的限速系统的工作原理。我们包括代码示例和可能的解决方案来处理常见问题。建议在填写速率限制提高申请表之前遵守本指南,并在上一节中详细说明如何填写该表单。

    如果对账号需要提升速率要求的,openai官方有提供提高速率要求的申请表

下面是官方的gpt3.5与4.0账号速率限制的大概情况

我们会根据所使用的特定终端节点和您具有的帐户类型,在组织级别(而不是用户级别)强迫实行速率限制。速率限制以两种方式度量:RPM(每分钟要求数)和 TPM(每分钟令牌数)。下表突出显示了我们 API 的默许速率限制,但在填写速率限制提高要求表单后,这些限制可能会根据您的使用案例增加。

文本和嵌入 聊天 编辑 图象 音频
不要钱试用用户 3 转/分 150,000 TPM 3 转/分 40,000 TPM 3 转/分 150,000 TPM 5张/分钟 3 转/分
即用即付用户(前 48 小时) 60 转/分 250,000 TPM 60 转/分 60,000 TPM 20 转/分 150,000 TPM 50张/分钟 50 转/分
即用即付用户(48 小时后) 3,500 转/分 350,000 胎压监测系统 3,500 转/分 90,000 胎压监测系统 20 转/分 150,000 TPM 50张/分钟 50 转/分

对 ,即用即付用户的 TPM 限制是上面列出的值的 2 倍,使限制分别为 120K TPM 和 180K TPM。gpt⑶.5-turbo⑴6k

对我们的旧型号,TPM(每分钟令牌数)单位因型号版本而异:

类型 1 TPM 等于
达芬奇 每分钟 1 个代币
居里 每分钟 25 个代币
巴贝奇 每分钟 100 个代币
阿达 每分钟 200 个代币

实际上,这意味着您每分钟可以向模型发送大约 200 倍的令牌。adadavinci

重要的是要注意,任何一种选择都可以到达速率限制,具体取决于首先产生的情况。例如,您可以向 Edit 终端节点发送 20 个仅包括 100 个令牌的要求,即便您在这 150 个要求中未发送 20k 个令牌,这也将填满您的限制。

GPT⑷ 速率限制

在 GPT⑷ 的有限测试版推出期间,该模型将具有更严格的速率限制以满足需求。如果你是即用即付用户,则 / 的默许速率限制为 40k TPM 和 200 RPM。/ 的默许速率限制为 150k TPM 和 1k RPM。由于容量限制,我们没法满足提高速率限制的要求。在当前状态下,该模型旨在用于实验和原型设计,而不是大批量生产用例。gpt⑷gpt⑷-0613gpt⑷⑶2kgpt⑷⑶2k-0613

ChatGPT账号购买平台gpt.Huanp.com

ChatGPT相关资讯

ChatGPT热门资讯

X

截屏,微信识别二维码

微信号:muhuanidc

(点击微信号复制,添加好友)

打开微信

微信号已复制,请打开微信添加咨询详情!