Azure OpenAI 服务 REST API 参考 – Azure OpenAI(openai max_tokens 参数)
一、OpenAI API的max_tokens参数概述
- max_tokens参数用于控制生成文本的最大长度
- 它限制了生成结果的令牌数量
- max_tokens参数与模型的上下文长度有关
- 默许值为16，意味着生成的文本长度最多为16个令牌
- API在完成时生成的文本令牌数量不会超过max_tokens设定的值
- max_tokens参数可以灵活调剂，以控制生成文本的长度
- 在设定max_tokens值时需要注意令牌配额的消耗
- 结合使用stop参数和max_tokens参数可实现更精确的结果控制
二、max_tokens参数的使用指南
- 根据需求设定max_tokens参数值，来限制生成文本长度
- 充分了解所使用模型的上下文长度，避免超越限制
- 使用temperature参数来控制生成结果的随机性
- 对gpt⑶5-turbo模型，需要特别注意其参数限制和设置方式
- 公道设置max_tokens和stop参数，以确保生成结果符合预期
- 注意max_tokens参数会消耗令牌配额的情况，避免过度消耗的问题的产生
详细内容
一、OpenAI API的max_tokens参数概述
A. max_tokens参数的作用和含义
max_tokens参数用于控制生成文本的最大长度。它限制了生成结果的令牌数量。生成结果的令牌数量决定了文本的长度。这个参数与模型的上下文长度有关。
举个例子，假定我们有一个模型上下文长度为2048个令牌，max_tokens参数设定为100，则生成的文本长度最多为100个令牌。
B. max_tokens参数的默许值
max_tokens参数的默许值为16。这意味着在没有显式设定max_tokens参数时，API生成的文本长度最多为16个令牌。
在API完成生成时，生成的文本令牌数量不会超过max_tokens设定的值。
C. max_tokens参数的调剂方法
max_tokens参数可以根据需求进行灵活调剂，以控制生成文本的长度。要注意的是，在设定max_tokens值时需要斟酌令牌配额的消耗。
另外，结合使用stop参数和max_tokens参数可以实现更精确的结果控制。通过设定stop参数来告知API生成文本的结束位置，再结合设置max_tokens参数，可以精确控制生成文本的长度。
二、max_tokens参数的使用指南
A. 控制生成文本长度的方法
要控制生成文本的长度，可以根据需求设定max_tokens参数的值。通过调剂该参数的数值，可以限制生成文本的长度。
在设定max_tokens值时，需要充分了解所使用模型的上下文长度，避免超越限制。确保设定的max_tokens值不超过模型上下文的长度，以免产生不符合预期的结果。
B. 结合其他参数进行优化
为了优化生成结果的质量和多样性，可以结合使用其他参数，如temperature参数。
temperature参数用于控制生成结果的随机性。通过调剂temperature参数的值，可以改变生成结果的随机程度。
对使用gpt⑶5-turbo模型的情况，需要特别注意其参数限制和设置方式，以确保生成结果满足预期。
C. 谨慎使用max_tokens参数
在使用max_tokens参数时，需要谨慎设置该参数的值，以确保生成结果与预期一致。
公道设置max_tokens和stop参数，可以更好地控制生成结果的长度和内容。
同时，注意max_tokens参数可能消耗令牌配额的情况。过度消耗令牌配额可能致使要求被谢绝或没法完成生成任务。
openai max_tokens 参数的进一步展开说明
# Azure OpenAI REST API 参考指南
本文详细介绍了 Azure OpenAI 的各个 REST API 端点。
## 身份验证
Azure OpenAI 提供两种身份验证方法：API 密钥和 Azure Active Directory。
### API 密钥身份验证
使用 API 密钥进行身份验证时，所有 API 要求都一定要在 `api-key` HTTP 标头中包括 API 密钥。
### Azure Active Directory 身份验证
可使用 Azure Active Directory 令牌对 API 调用进行身份验证。 身份验证令牌作为 Authorization 标头包括在要求中。 提供的令牌一定要以 `Bearer` 开头，例如 `Bearer YOUR_AUTH_TOKEN`。
## REST API 版本控制
服务 API 使用 `api-version` 查询参数进行版本控制。 所有版本都遵守 `YYYY-MM-DD` 日期结构。 例如：
“`
POST https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/completions?api-version=2023-05⑴5
“`
## 完成操作
通过完成操作，模型将根据提供的提示生成一个或多个预测完成。 该服务还可以返回每一个位置的替换令牌的几率。
### 创建完成操作
“`
POST https://{your-resource-name}.openai.azure.com/openai/deployments/{deployment-id}/completions?api-version={api-version}
“`
#### 路径参数
| 参数名 | 类型 | 一定要？ | 说明 |
|——————–|———-|——–|—————————————-|
| your-resource-name | 字符串 | 一定要 | Azure OpenAI 资源的名称。 |
| deployment-id | 字符串 | 一定要 | 部署模型时选择的部署名称。 |
| api-version | 字符串 | 一定要 | 要用于此操作的 API 版本。 它遵守 YYYY-MM-DD 格式。 |
### 支持的版本
#### 要求正文
| 参数名 | 类型 | 一定要？ | 默许 | 说明 |
|—————–|——————-|———–|———|——————————————————————————————–|
| prompt | 字符串或数组 | 可选 | “<|endoftext|>” | 生成完成的提示，其编码为字符串或字符串数组。 <|endoftext|> 是模型在训练期间看到的文档分隔符，如果未指定则生成的文本将以新文档的开头生成。 |
| max_tokens | 整数 | 可选 | 16 | 生成完成中的最大令牌数。提示加上 `max_tokens` 的令牌数量不能超过模型的上下文长度。 |
| temperature | 数字 | 可选 | 1 | 采样温度，介于 0 和 2 之间。较高的值意味着模型更加随机。对更有创意的利用程序，可以尝试将值设为 0.9，对有明确答案的利用程序，可以尝试将值设为 0 ( argmax sampling )。建议更改此设置而不是 `top_p`。 |
| top_p | 数字 | 可选 | 1 | top-p 采样的替换方法，称为nucleus采样，其中模型将斟酌top_p几率质量的令牌结果。低于指定几率的令牌将被过滤掉。建议更改此设置而不是 `temperature`。 |
| logit_bias | 字典 | 可选 | Null | 修改指定令牌在生成中出现的几率。具体效果因模型而异，但在⑴和1之间的值会下降或增加选择指定令牌的可能性。例如，可使用 `{“50256”: ⑴00}` 来禁止生成 `
openai max_tokens 参数的常见问答Q&A
问题1：OpenAI API中的”max_tokens”参数是甚么？
答案：在OpenAI API中，”max_tokens”参数用于控制生成的文本的最大长度。
- 具体解释和例子：当使用该参数设置一个整数值时，API会生成一个包括指定令牌数的文本。
- 其他相关信息：需要注意的是，生成的文本长度太长可能会影响API的响应速度。
问题2：”temperature”参数在OpenAI API中有甚么作用？
答案：“temperature”参数在OpenAI API中用于控制生成文本的随机性。
- 具体解释和例子：通过设置该参数的值，可以调剂生成文本时的随机因子，值越大则输出结果越随机。
- 其他相关信息：公道地设置”temperature”参数可使生成的文本更具多样性。
问题3：OpenAI API的”prompt”参数代表甚么意思？
答案：“prompt”参数在OpenAI API中表示要生成文本的上下文。
- 具体解释和例子：通过为”prompt”参数传入一个字符串作为输入，可以将该字符串作为文本生成的前缀或后缀。
- 其他相关信息：”prompt”参数的设置可以影响生成文本的上下文相关性。
问题4：”content_filter”参数在OpenAI API中有甚么作用？
答案：“content_filter”参数在OpenAI API中用于过滤生成文本中的特定内容。
- 具体解释和例子：通过在参数中设置”content_filter”，可以删除文本中的特定标记，从而过滤掉不需要的内容。
- 其他相关信息：使用”content_filter”参数可以对生成文本进行一定程度的内容控制。
问题5：OpenAI API中的”messages”参数是甚么含义？
答案：“messages”参数在OpenAI API中是一个包括多个字典的列表对象。
- 具体解释和例子：通过为”messages”参数传入一个字典组成的列表，可以摹拟多轮对话的场景，每一个字典包括一个角色（”role”）和一段消息（”content”）。
- 其他相关信息：”messages”参数的设置可让模型更好地理解和回应上下文。
