Azure OpenAI Service models – Azure OpenAI(gpt 4 32k)
I. GPT⑷ 32k模型发布:聊天无穷次,回复速度不错2倍,震动来袭!
OpenAI最新发布了GPT⑷ 32k模型,它具有超长上下文处理的能力,让聊天无穷次,并且回复速度提升了2倍。下面我们将详细介绍这一使人振奋的消息。
A. GPT⑷支持32k超长上下文的处理能力
GPT⑷具有处理超过3万个token的文本能力,相较于之前的GPT模型大大提升。这意味着GPT⑷可以处理更复杂、更详细的对话或文本。
B. 训练本钱和训练时间
GPT⑷的训练本钱约为2.15e25的FLOPS,耗时约90到100天,使用了约25,000个A100 GPU。利用率(MFU)约为32%至36%。这次的训练范围和资源投入非常庞大。
C. ChatGPTEnterpris的新功能
ChatGPTEnterpris作为GPT⑷的企业级版本,提供了单点登录(SSO)功能,简化了用户的登录流程,提高了安全性,并减少了管理本钱。同时,还提供了企业级的安全和隐私功能,满足了企业用户的需求。
D. 数据微调和模型优化
OpenAI通过利用来自ScaleAI和内部的微调数据来优化模型性能。微调周期包括基于文本和基于代码的数据。GPT⑷在预训练后对8k进行微调,实现了32k上下文长度。
E. ChatGPTEnterpris的新功能介绍
ChatGPTEnterpris允许用户无穷次使用GPT⑷,支持32k上下文对话。同时,它还提供了高级数据分析和自定义选项,满足用户的个性化需求。企业级安全和隐私功能也为企业用户提供了更多保障。
II. GPT⑷模型的参数量和辞汇表
GPT⑷⑶2k是OpenAI计划中的下一代自然语言处理模型,其中的”32k”表示模型的参数量和辞汇表的大小。相较于其他模型,GPT⑷具有更大的参数量和辞汇表。
A. 其他模型的比较
GPT⑶.5支持16k上下文,AnthropicAI的Claude支持100k上下文,而开源的大模型如LLaMA和Falcon只支持2k上下文。GPT⑷的32k上下文长度再次领先。
B. GPT⑷模型的新特性
GPT⑷ 32k模型具有不限量使用的特性,生成速度是GPT⑶.5的2倍。同时,它还支持记忆上下文扩大,最高到达32k,进一步提升了模型的性能。
III. GPT⑷模型的使用处景和利用
GPT⑷⑶2k模型提供了丰富的API和利用,可以用于构建各种利用程序。
A. 提供的API和利用
OpenAI发布了对现有模型如gpt⑶.5-turbo的API,同时GPT⑷⑶2k模型可以用于构建全部利用程序,为用户提供更多可能性。
B. Poe.com提供的访问权限
Poe.com为用户提供GPT⑷ 32k、GPT⑶.5 16k和Claude 100k的访问权限。同时,GPT⑷ 32k模型的使用限制也在一定程度上保证了资源的公道分配。
C. Poe平台的功能介绍
Poe平台可以提供问答、即时回答和双向对话等功能。用户可使用其中的GPT⑷、gpt⑶.5-turbo和Anthropic的Claude进行交互,并满足各种需求。
IV. 关于GPT⑷模型的技术细节
A. GPT⑷和GPT⑷⑶2k的最大输入token数
GPT⑷支持最多8192个token的输入,而GPT⑷⑶2k支持最多32768个token的输入。这一技术细节限制了模型的输入范围。
B. GPT⑶.5的性能表现
GPT⑶.5模型在自然语言处理方面表现出色,可以理解和生成自然语言,为用户提供了更好的交互体验。
总结
通过本次发布,OpenAI推出了GPT⑷ 32k模型,具有超长上下文处理的能力,支持聊天的无穷次数,并且回复速度提升了2倍。新功能包括SSO登录、企业级安全和隐私等。模型使用了大量的微调数据进行优化,并提供了32k的上下文长度。GPT⑷模型的辞汇表和参数量较大,并且速度更快。GPT⑷⑶2k可用于构建全部利用程序,例如Poe.com平台。技术细节方面,GPT⑷⑶2k支持最多32768个token的输入。GPT⑶.5模型在自然语言处理方面表现优秀。
gpt 4 32k的进一步展开说明
目录
– Azure OpenAI 服务模型
– 文章
– 09/05/2023
– 4 位贡献者的反馈
本文内容
Azure OpenAI 服务由多组具有区别功能和价格的模型驱动。模型的可用性因地区而异。有关于 GPT⑶ 和其他模型于 2024 年 7 月停用的信息,请参阅 Azure OpenAI 服务退役模型。
模型描写
– GPT⑷: 一组优于 GPT⑶.5 的模型,能够理解和生成自然语言和代码。GPT⑷ 通过聊天方式进行互动,是 OpenAI 迄今为止最准确的模型。使用聊天补全 API 来使用 GPT⑷。如需了解有关如何与 GPT⑷ 互动和使用聊天补全 API 的详细信息,请查看我们的详细教程。
– gpt⑷ 和 gpt⑷⑶2k: gpt⑷ 模型支持最多 8192 个最大输入 tokens,gpt⑷⑶2k 模型支持最多 32768 个 tokens。
– GPT⑶.5: GPT⑶.5 模型能够理解和生成自然语言或代码。在 GPT⑶.5 系列中,GPT⑶.5 Turbo 是最具能力和最划算的模型,经过优化后非常合适聊天和传统的自动填充任务。我们建议优先使用 GPT⑶.5 Turbo,而不是遗留的 GPT⑶.5 和 GPT⑶ 模型。
– gpt⑶5-turbo 和 gpt⑶5-turbo⑴6k:gpt⑶5-turbo 模型支持最多 4096 个最大输入 tokens,而 gpt⑶5-turbo⑴6k 模型支持最多 16384 个 tokens。
– Embeddings 模型: Embeddings 模型是一组能够将文本转换为数值向量情势以便进行文本类似性比较的模型。
– texte-embedding-ada-002: 我们强烈推荐使用 texte-embedding-ada-002(Version 2)。这个模型/版本与 OpenAI 的 texte-embedding-ada-002 提供的功能保持一致。有关该模型所提供的改进的更多信息,请参阅 OpenAI 的博客文章。即便您目前使用的是 Version 1,您也应当迁移到 Version 2,以利用最新的权重/更新的令牌限制。Version 1 和 Version 2 不能互换使用,因此一定要使用相同版本的模型来进行文档嵌入和文档搜索。
– DALL-E (预览): DALL-E 模型目前处于预览状态,能够根据用户提供的文本提示生成图象。
GPT⑷
GPT⑷ 是 OpenAI 先前模型中最准确的模型之一,能够解决比之前任何模型更困难的问题。与 GPT⑶.5 Turbo 一样,GPT⑷ 特别优化了聊天功能,并且在传统的自动填充任务上表现出色。您可使用 Chat Completions API 来使用 GPT⑷。要了解有关如何与 GPT⑷ 进行交互和使用 Chat Completions API 的更多信息,请查看我们详细的操作指南。
欲申请获得 GPT⑷ 的访问权限,Azure OpenAI 客户可以填写此表单进行申请。
gpt⑷ 和 gpt⑷⑶2k
gpt⑷ 模型支持最多 8192 个最大输入 tokens,而 gpt⑷⑶2k 模型则支持最多 32768 个 tokens。
GPT⑶.5
GPT⑶.5 模型能够理解和生成自然语言或代码。在 GPT⑶.5 系列中,GPT⑶.5 Turbo 是最具能力和最划算的模型,经过优化后非常合适聊天和传统的自动填充任务。我们建议优先使用 GPT⑶.5 Turbo,而不是遗留的 GPT⑶.5 和 GPT⑶ 模型。
gpt⑶5-turbo 和 gpt⑶5-turbo⑴6k:gpt⑶5-turbo 模型支持最多 4096 个最大输入 tokens,而 gpt⑶5-turbo⑴6k 模型支持最多 16384 个 tokens。
与 GPT⑷ 类似,使用 Chat Completions API 来使用 GPT⑶.5 Turbo。要了解有关如何与 GPT⑶.5 Turbo 进行交互和使用 Chat Completions API 的更多信息,请查看我们详细的操作指南。
嵌入模型
重要提示:我们强烈建议使用 texte-embedding-ada-002(Version 2)。这个模型/版本与 OpenAI 的 texte-embedding-ada-002 提供的功能保持一致。有关该模型所提供的改进的更多信息,请参阅 OpenAI 的博客文章。即便您目前使用的是 Version 1,您也应当迁移到 Version 2,以利用最新的权重/更新的令牌限制。Version 1 和 Version 2 不能互换使用,因此一定要使用相同版本的模型来进行文档嵌入和文档搜索。
目前,我们提供三个区别功能的 Embeddings 模型系列。以以下表显示了根据模型功能返回的数值向量的长度:
– 基础模型 Dimensions:
– Ada models(以 -001 结尾,Version 1): 1024
– Ada text-embedding-ada-002(Version 2): 1536
DALL-E 模型(预览)
DALL-E 模型(预览版)可以根据用户提供的文本提示生成图象。
模型摘要表和区域可用性
由于需求量较大:South Central US 暂时没法创建新资源和部署。
GPT⑷ 模型
这些模型只能与 Chat Completion API 一起使用。
模型 ID 基础模型 区域 微调区域 最大要求(tokens)训练数据(最新至) gpt⑷ 1,2 (0314) 不适用 8,192 2023 年 9 月 gpt⑷⑶2k 1,2 (0314) 不适用 32,768 2023 年 9 月 gpt⑷ 13 (0613) Australia East, Canada East, East US, East US 2, France Central, Japan East, Sweden Central, Switzerland North, UK South 不适用 8,192 2023 年 9 月 gpt⑷⑶2k 13 (0613) Australia East, Canada East, East US, East US 2, France Central, Japan East, Sweden Central, Switzerland North, UK South 不适用 32,768 2023 年 9 月
1 此模型按要求进行提供。
2 gpt⑷ 和 gpt⑷⑶2k 的 0314 版本将在 2024 年 7 月 5 日或以后停用。有关模型升级行动的更多信息,请参阅模型更新。
3 我们正逐渐向客户提供新区域的可用性,以确保流畅的体验。在 East US 和 France Central,具有现有 GPT⑷ 部署的客户可以创建其他 GPT⑷(版本 0613)部署。对首次在 Azure OpenAI 中使用 GPT⑷ 的客户,请使用其他可用的地区之一。
GPT⑶.5 模型
GPT⑶.5 Turbo 只能与 Chat Completions API 一起使用。GPT⑶.5 Turbo(0301)也能够与 Completions API 一起使用。
模型 ID 基础模型 区域 微调区域 最大要求(tokens)训练数据(最新至) gpt⑶5-turbo 1(0301) East US, France Central, South Central US, UK South, West Europe 不适用 4,096 2023 年 9 月 gpt⑶5-turbo(0613) Australia East, Canada East, East US, East US 2, France Central, Japan East, North Central US, Sweden Central, Switzerland North, UK South 不适用 4,096 2023 年 9 月 gpt⑶5-turbo⑴6k(0613) Australia East, Canada East, East US, East US 2, France Central, Japan East, North Central US, Sweden Central, Switzerland North, UK South 不适用 16,384 2023 年 9 月
1 gpt⑶5-turbo 的 0301 版本将在 2024 年 7 月 5 日或以后停用。有关模型升级行动的更多信息,请参阅模型更新。
Embeddings 模型
这些模型只能与 Embedding API 要求一起使用。
注:我们强烈建议使用 texte-embedding-ada-002(Version 2)。这个模型/版本与 OpenAI 的 texte-embedding-ada-002 提供的功能保持一致。有关该模型所提供的改进的更多信息,请参阅 OpenAI 的博客文章。即便您目前使用的是 Version 1,您也应当迁移到 Version 2,以利用最新的权重/更新的令牌限制。Version 1 和 Version 2 不能互换使用,因此一定要使用相同版本的模型来进行文档嵌入和文档搜索。
模型 ID 基础模型 区域 微调区域 最大要求(tokens)训练数据(最新至) text-embedding-ada-002(version 2) Canada East, East US, France Central, Japan East, North Central US, South Central US, Switzerland North, UK South, West Europe 不适用 8,191 2023 年 9 月 text-embedding-ada-002(version 1) East US, South Central US, West Europe 不适用 2,046 2023 年 9 月
DALL-E 模型(预览版)
模型 ID 基础模型 区域 微调区域 最大要求(characters)训练数据(最新至) dalle2 East US 不适用 1000 不适用
使用模型
查看可用模型
您可以通过 Models List API 获得 Azure OpenAI 资源中可用于推理和微调的模型列表。
Azure OpenAI 现在支持自动更新特定模型部署。在支持自动更新的模型上,Azure OpenAI Studio 的“创建新部署”和“编辑部署”下会显示一个模型版本下拉菜单:
当选择“自动更新为默许”时,您的模型部署将在新版本发布后的两周内自动升级。
如果您仍处于初期测试阶段,使用基于完成和聊天完成的模型,我们建议在可用时设置自动更新为默许。
指定模型版本
随着您对 Azure OpenAI 的使用不断发展,并开始构建和集成利用程序,您可能希望手动控制模型更新,以便在升级之前首先测试和验证模型在您的用例中的性能会不会保持一致。
当您选择特定的模型版本进行部署时,该版本将一直保持选择状态,直到您选择手动更新,或到达模型的退役日期。当到达退役日期时,模型将自动升级为退役时的默许版本。
GPT⑶5-Turbo 0301 和 GPT⑷ 0314 的退役
gpt⑶5-turbo(0301)和 gpt⑷(0314)模型将在 2024 年 7 月 5 日或以后停用。到达退役日期后,部署将自动升级为退役时的默许版本。如果您希望您的部署在停用之前停止接受完成要求而不是升级,那末您将能够通过 API 设置模型升级选项的到期时间。我们将在 9 月 1 日之前发布相关指南。
对当前部署的模型,请从 Azure OpenAI Studio 选择“部署”:
要查看给定区域中所有可用模型的停用 / 到期日期,请从 Azure OpenAI Studio 选择“模型”>“列选项”>“选择 Deprecation fine-tune”和“Deprecation inference”:
PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.CognitiveServices/accounts/{accountName}/deployments/{deploymentName}?api-version=2023-05-01
路径参数
参数 类型 会不会一定要? 说明 acountname 字符串 是 Azure OpenAI 资源的名称。 deploymentName 字符串 是部署模型时选择的部署名称,或是希望为新模型部署的名称。 resourceGroupName 字符串 是与此模型部署相关的资源组的名称。 subscriptionId 字符串 是与定阅相关的定阅 ID。 api-version 字符串 是此操作的 API 版本。此版本遵守 YYYY-MM-DD 格式。
支持的版本
要求正文
此处仅显示了一部份可用要求正文参数。有关参数的完全列表,请参考 REST API 参考文档。
参数 类型 说明 versionUpgradeOption 字符串 部署模型版本升级选项:
OnceNewDefaultVersionAvailable
OnceCurrentVersionExpired
NoAutoUpgrade capacity 整数 表示您为此部署设置的配额量。1 的值等于每分钟 1000 个令牌(Tokens per Minute,TPM)
示例要求
curl -X PUT https://management.azure.com/subscriptions/00000000-0000-0000-0000-000000000000/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/text-embedding-ada-002-test⑴?api-version=2023-05-01 -H “Content-Type: application/json” -H ‘Authorization: Bearer YOUR_AUTH_TOKEN’ -d ‘{“sku”:{“name”:”Standard”,”capacity”:1},”properties”: {“model”: {“format”: “OpenAI”,”name”: “text-embedding-ada-002″,”version”: “2”},”versionUpgradeOption”:”OnceCurrentVersionExpired”}}’
注意:有多种方法可以生成授权令牌。进行初始测试的最简单方法是从 Azure 门户启动 Cloud Shell。然后运行 az account get-access-token。您可以将此令牌用作 API 测试的临时授权令牌。
示例响应
{ “id”: “/subscriptions/{subscription-id}/resourceGroups/resource-group-temp/providers/Microsoft.CognitiveServices/accounts/docs-openai-test-001/deployments/text-embedding-ada-002-test⑴”, “type”: “Microsoft.CognitiveServices/accounts/deployments”, “name”: “text-embedding-ada-002-test⑴”, “sku”: { “name”: “Standard”, “capacity”: 1 }, “properties”: { “model”: { “format”: “OpenAI”, “name”: “text-embedding-ada-002”, “version”: “2” }, “versionUpgradeOption”: “OnceCurrentVersionExpired”, “capabilities”: { “embeddings”: “true”, “embeddingsMaxInputs”: “1” }, “provisioningState”: “Succeeded”, “ratelimits”: [ { “key”: “request”, “renewalPeriod”: 10, “count”: 2 }, { “key”: “token”, “renewalPeriod”: 60, “count”: 1000 } ] }, “systemData”: { “createdBy”: “[email protected]”, “createdByType”: “User”, “createdAt”: “2023-06⑴3T00:12:38.885937Z”, “lastModifiedBy”: “[email protected]”, “lastModifiedByType”: “User”, “lastModifiedAt”: “2023-06⑴3T02:41:04.8410965Z” }, “etag”: “”{GUID}”” }
gpt 4 32k的常见问答Q&A
问题1:GPT⑷与GPT⑷⑶2k有甚么区别?
答案:GPT⑷与GPT⑷⑶2k是OpenAI推出的两个自然语言处理模型。它们的区别的地方在于:
- GPT⑷是标准模型,可提供8,000个辞汇量的上下文。
- GPT⑷⑶2k是扩大模型,可提供32,000个辞汇量的上下文。
问题2:GPT⑷⑶2k的处理能力特点有哪些?
答案:GPT⑷⑶2k的处理能力具有以下特点:
- 支持超长上下文,可以同时处理超过3万个token的文本。
- 相比之前的GPT模型,处理能力大大提升。
- 可以处理更加复杂和详细的对话或文本。
问题3:GPT⑷和GPT⑷⑶2k的训练本钱和训练时间是多少?
答案:GPT⑷⑶2k的训练本钱和训练时间以下:
- 训练本钱:OpenAI在GPT⑷的训练中使用了约2.15e25的FLOPS,使用了约25,000个A100 GPU,训练了90到100天。
- 预训练阶段的上下文长度(seqlen)为8k。
- GPT⑷的32k seqlen版本是在预训练后对8k进行微调。