openai sdk stream的进一步展开说明

OpenAI Streams（开放AI流）

GitHub | NPM | 文档

现在支持ChatGPT API！请参阅与ChatGPT API一起使用。（Whisper行将推出！）

该库仅将OpenAI API的响应作为流返回。非流式端点（如edits等）只是一个只有一个块更新的流。

优先处理流，因此您可以显示实时的完成状态。

自动从process.env加载OPENAI_API_KEY。

只有一个函数，根据您提供的端点推断参数类型。

默许使用ReadableStream用于浏览器、Edge Runtime和Node 18+，在openai-streams/node中提供了一个NodeJS.Readable版本。

安装

yarn add openai-streams # -or- npm i –save openai-streams

用法

await OpenAI(/** ‘completions’, ‘chat’, etc. */ENDPOINT, /** max_tokens, temperature, messages, etc. */PARAMS, /** apiBase, apiKey, mode, controller, etc */OPTIONS);

设置OPENAI_API_KEY环境变量（或通过{ apiKey }选项传递）。如果找不到API密钥，该库将抛出毛病。您的程序默许会在运行时从process.env.OPENAI_API_KEY加载它，但您可以通过{ apiKey }选项来覆盖它。重要提示：出于安全斟酌，您应仅从process.env变量加载此内容。

await OpenAI(“completions”, { /* endpoint params */ }, { apiKey: process.env.MY_SECRET_API_KEY });

通过await OpenAI(endpoint, params, options?)调用API。参数类型将根据您提供的端点进行推断，即对“edits”端点，将强迫履行import(‘openai’)。CreateEditRequest。使用原始流模式的示例：

await OpenAI(“chat”, { messages: [/*…*/], }, { mode: “raw” });

Edge/Browser：在Next.js Edge函数中使用流

这在浏览器中也有效，但您需要用户粘贴他们的OpenAI密钥，并通过{ apiKey }选项传递。

import { OpenAI } from “openai-streams”;
export default async function handler() {
const stream = await OpenAI(“completions”, {
model: “text-davinci-003”,
prompt: “Write a happy sentence. ”,
max_tokens: 100,
});
return new Response(stream);
}
export const config = { runtime: “edge” };

Node：在Next.js API Route（Node）中使用流

如果没法使用Edge运行时或出于其他缘由要使用Node.js流，请使用openai-streams/node：

import type { NextApiRequest, NextApiResponse } from “next”;
import { OpenAI } from “openai-streams/node”;
export default async function test(_: NextApiRequest, res: NextApiResponse) {
const stream = await OpenAI(“completions”, {
model: “text-davinci-003”,
prompt: “Write a happy sentence. ”,
max_tokens: 25,
});
stream.pipe(res);
}

请参见example/src/pages/api/hello.ts中的示例。

与ChatGPT API一起使用

默许情况下，通过mode=”tokens”，您只会收到消息增量。要取得完全的事件，请使用mode=”raw”。

参见：https://platform.openai.com/docs/guides/chat/introduction

const stream = await OpenAI(“chat”, {
model: “gpt⑶.5-turbo”,
messages: [
{
role: “system”,
content: “You are a helpful assistant that translates English to French.”,
},
{
role: “user”,
content: ‘Translate the following English text to French: “Hello world!”‘,
},
],
});

在令牌模式下，您将只会收到响应块，其格式以下（为了说明，使用换行符分隔）：

Hello! How can I assist you today?

使用mode=”raw”以获得原始事件。

openai sdk stream的常见问答Q&A

…

…