openai账号chatgpt3.5与4.0速率限制详解
以下资料文档来源于官方文档
速率限制
概述
甚么是速率限制?
概述
甚么是速率限制?
速率限制是 API 对用户或客户端在指定时间段内可以访问服务器的次数施加的限制。
为何我们有速率限制?
速率限制是 API 的常见做法,实行速率限制有几个区别的缘由:
- 它们有助于避免滥用或误用 API。例如,歹意参与者可能会用要求淹没 API,试图使其过载或致使服务中断。通过设置速率限制,OpenAI可以避免此类活动。
- 速率限制有助于确保每一个人都可以公平访问 API。如果一个人或组织发出过量的要求,则可能会使其他人的API堕入窘境。通过限制单个用户可以发出的要求数量,OpenAI 确保最多的人有机会使用 API,而不会遇到速度变慢的情况。
- 速率限制可以帮助 OpenAI 管理其基础设施上的总负载。如果对 API 的要求急剧增加,则可能会对服务器造成负担并致使性能问题。通过设置速率限制,OpenAI 可以帮助为所有用户保持流畅一致的体验。
-
请完全浏览本文档,以更好地了解OpenAI的限速系统的工作原理。我们包括代码示例和可能的解决方案来处理常见问题。建议在填写速率限制提高申请表之前遵守本指南,并在上一节中详细说明如何填写该表单。
如果对账号需要提升速率要求的,openai官方有提供提高速率要求的申请表
下面是官方的gpt3.5与4.0账号速率限制的大概情况
我们会根据所使用的特定终端节点和您具有的帐户类型,在组织级别(而不是用户级别)强迫实行速率限制。速率限制以两种方式度量:RPM(每分钟要求数)和 TPM(每分钟令牌数)。下表突出显示了我们 API 的默许速率限制,但在填写速率限制提高要求表单后,这些限制可能会根据您的使用案例增加。
文本和嵌入 | 聊天 | 编辑 | 图象 | 音频 | |
---|---|---|---|---|---|
不要钱试用用户 | 3 转/分 150,000 TPM | 3 转/分 40,000 TPM | 3 转/分 150,000 TPM | 5张/分钟 | 3 转/分 |
即用即付用户(前 48 小时) | 60 转/分 250,000 TPM | 60 转/分 60,000 TPM | 20 转/分 150,000 TPM | 50张/分钟 | 50 转/分 |
即用即付用户(48 小时后) | 3,500 转/分 350,000 胎压监测系统 | 3,500 转/分 90,000 胎压监测系统 | 20 转/分 150,000 TPM | 50张/分钟 | 50 转/分 |
对 ,即用即付用户的 TPM 限制是上面列出的值的 2 倍,使限制分别为 120K TPM 和 180K TPM。gpt⑶.5-turbo⑴6k
对我们的旧型号,TPM(每分钟令牌数)单位因型号版本而异:
类型 | 1 TPM 等于 |
---|---|
达芬奇 | 每分钟 1 个代币 |
居里 | 每分钟 25 个代币 |
巴贝奇 | 每分钟 100 个代币 |
阿达 | 每分钟 200 个代币 |
实际上,这意味着您每分钟可以向模型发送大约 200 倍的令牌。ada
davinci
重要的是要注意,任何一种选择都可以到达速率限制,具体取决于首先产生的情况。例如,您可以向 Edit 终端节点发送 20 个仅包括 100 个令牌的要求,即便您在这 150 个要求中未发送 20k 个令牌,这也将填满您的限制。
GPT⑷ 速率限制
在 GPT⑷ 的有限测试版推出期间,该模型将具有更严格的速率限制以满足需求。如果你是即用即付用户,则 / 的默许速率限制为 40k TPM 和 200 RPM。/ 的默许速率限制为 150k TPM 和 1k RPM。由于容量限制,我们没法满足提高速率限制的要求。在当前状态下,该模型旨在用于实验和原型设计,而不是大批量生产用例。gpt⑷
gpt⑷-0613
gpt⑷⑶2k
gpt⑷⑶2k-0613
ChatGPT账号购买平台gpt.Huanp.com