How to generate embeddings with Azure OpenAI Service – Azure OpenAI(openai embedding model

ChatGPT账号购买平台发布时间：2024-03-01 浏览量：4

OpenAI发布全新嵌入模型，打破搜索界限！

I. OpenAI嵌入模型概述

A. OpenAI嵌入模型的基本定义和作用

OpenAI嵌入模型是一种用于将文本或短语表示为高维数值向量的模型。它使用浮点数向量进行语义信息密集的表示，可以利用于各种任务，包括文本搜索、类似性比较和代码搜索等。

B. OpenAI嵌入模型的性能和优势

OpenAI嵌入模型在自然语言处理（NLP）领域表现优于其他模型。它相对之前的模型具有更强大的功能，可以替换文本搜索、类似性比较和代码搜索等五个独立模型。另外，OpenAI嵌入模型的本钱更低，而且使用更加简单，为用户提供了更好的体验。

II. OpenAI嵌入模型更新历史

A. 第一代嵌入模型的扼要介绍

第一代嵌入模型包括了text-similarity-davinci-001和davinci-001嵌入。这些模型是初期版本的OpenAI嵌入模型。

B. 文本嵌入模型的更新为text-embedding-ada-002

text-embedding-ada-002是OpenAI于2023年12月发布的新嵌入模型。它取代了文本搜索、文本类似性和程序代码搜索等五个独立模型，并具有更强大的功能、更优越的性能、更低的本钱和更简单的使用方式。

III. OpenAI嵌入模型的使用和优势

A. OpenAI嵌入模型的API调用和使用

调用OpenAI嵌入模型的API非常简单方便。通过导入所需的包和模块，获得OpenAI的API密钥，就能够调用OpenAI的嵌入模型API来生成内容对应的嵌入向量。

B. OpenAI嵌入模型的利用场景和优势

OpenAI嵌入模型可以利用于文本搜索和类似性对照等场景。相比传统方式，嵌入模型提供更准确和高效的搜索结果。另外，嵌入模型还可以利用于程序代码搜索和分析，将代码语义化表示，提高搜索的准确性和效力。

IV. OpenAI嵌入模型的性能与本钱分析

A. OpenAI嵌入模型的相对性能和优势

OpenAI嵌入模型相对其他开源模型表现优越，在性能上保持在高水平。建议首先尝试轻量级的嵌入模型，如果没法满足需求再选择更庞大的模型。

B. OpenAI嵌入模型的本钱和效力

对大范围文本数据，嵌入模型的编码本钱相对较高。使用最小的OpenAI模型，编码1000万个文档约需花费80,000美元。与其他模型相比，编码效力相对较低，但结果更加准确。

openai embedding model的进一步展开说明

Azure OpenAI 生成嵌入向量的方法

在本文中，我们将学习怎样使用Azure OpenAI生成嵌入向量。

甚么是嵌入向量

嵌入向量是一种特殊的数据表示格式，可被机器学习模型和算法轻松利用。嵌入向量是文本语义含义的信息密集表示。每一个嵌入向量都是一个浮点数向量，向量空间中两个嵌入向量之间的距离与原始格式中两个输入之间的语义类似度相关。例如，如果两个文本类似，那末它们的向量表示也应当是类似的。嵌入向量可在Azure数据库中进行向量类似性搜索，例如Azure Cosmos DB for MongoDB vCore。

如何获得嵌入向量

要获得一个文本的嵌入向量，我们可以通过以下代码片断向嵌入向量终端发出要求：

console

python

import openai

openai.api_type = "azure"
openai.api_key = YOUR_API_KEY
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2023-05⑴5"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)

embeddings = response['data'][0]['embedding']
print(embeddings)

C#

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";
AzureKeyCredential credentials = new (oaiKey);
OpenAIClient openAIClient = new (oaiEndpoint, credentials);
EmbeddingsOptions embeddingOptions = new ("Your text string goes here");
var returnValue = openAIClient.GetEmbeddings("YOUR_DEPLOYMENT_NAME", embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding)
{
    Console.WriteLine(item);
}

最好实践

下面是一些使用嵌入向量的最好实践：

验证输入会不会超过最大长度

我们的嵌入模型对输入文本的最大长度限制为2048个标记（相当于大约2⑶页的文本）。在发出要求之前，您应当验证输入会不会超过了这个限制。

选择合适您任务的最好模型

对搜索模型，您可以以两种方式取得嵌入向量。”-doc”模型用于较长的文本（用于搜索），”-query”模型用于较短的文本，通经常使用于零样本分类中的查询或类标签。您可以在我们的模型指南中更多了解所有嵌入模型。

将换行符替换为一个空格

除非您正在嵌入代码，否则建议将输入文本中的换行符（）替换为一个空格，由于我们发现存在换行符时结果较差。

限制和风险

在特定情况下，我们的嵌入模型可能不可靠或带来社会风险，并可能在没有减缓措施的情况下造成伤害。请参阅我们的负责任AI内容，以了解如何负责任地使用嵌入模型。

下一步

接下来，您可以继续探索Azure OpenAI的其他功能和利用。祝您使用愉快！

openai embedding model的常见问答Q&A

问题1：OpenAI Embedding是甚么？

答案：OpenAI Embedding是一种将文本或代码表示为高维数值向量空间的技术，用于表示其语义含义的一种信息密集型表达。每一个嵌入向量都是一个浮点数的向量，通过对照两个向量的类似度来进行搜索、匹配和分类等任务。OpenAI的嵌入模型可以生成具有上下文和语义相关性的嵌入向量，从而提供更准确的语义搜索和文本类似性分析。

OpenAI Embedding技术可以利用于多个领域，包括搜索引擎、推荐系统、情感分析和程序代码搜索等。
通过将文本或代码转换为嵌入向量，可以更好地理解和处理自然语言。
嵌入模型的性能和效果已在多个标准测试中得到验证，具有较高的准确性和效力。

问题2：OpenAI Embedding有哪几种利用场景？

答案：OpenAI Embedding可以利用于以下领域和场景：

文本搜索引擎：利用嵌入向量进行语义搜索，提供更准确的搜索结果。
文本类似性分析：通过对照两个嵌入向量的类似度，可以判断文本之间的类似性。
推荐系统：将用户的历史行动和文本嵌入向量进行匹配，为用户提供个性化的推荐内容。
情感分析：将文本转换为嵌入向量，用于判断文本情感偏向和情绪分析。
程序代码搜索：将代码片断转换为嵌入向量，用于代码搜索和类似代码推荐。

问题3：OpenAI Embedding与旧版模型的区分是甚么？

答案：OpenAI Embedding是OpenAI的第二代模型，与旧版模型相比有以下区分：

更强大的功能：OpenAI Embedding提供了更准确、更有语义相关性的嵌入向量，可以实现更多复杂的文本分析任务。
更低的本钱：OpenAI Embedding的使用本钱相对较低，可以替换多个独立的旧版模型。
更简单的使用：使用OpenAI Embedding生成嵌入向量的进程相对简单，可以轻松调用API进行操作。