azure openai chat gpt的进一步展开说明

# ChatGPT + Azure OpenAI 和 Cognitive Search的企业数据

## 目录

– 简介
– 功能
– Azure账户要求
– 项目设置
– 部署步骤
– 运行本地
– 生产环境
– 常见问题
– 故障排除

## 简介

本示例展现了使用检索增强生成（Retrieval Augmented Generation）模式，在自己的数据上创建类似ChatGPT的体验的几种方法。它使用Azure OpenAI服务访问ChatGPT模型（gpt⑶5-turbo），并使用Azure Cognitive Search进行数据索引和检索。

该仓库包括示例数据，以便您可以进行端到真个尝试。在这个示例利用程序中，我们使用了一个虚构的公司 Contoso Electronics，并且这个利用程序允许该公司的员工发问有关公司福利、内部政策和工作描写和角色等问题。

## 功能

– 网页聊天和问答界面
– 探索区别的选项来帮助用户评估响应的可信度，如援用，跟踪源内容等
– 展现数据准备、提示构建和模型（ChatGPT）与检索器（Cognitive Search）之间的交互编排的可能方法
– 在用户界面中设置行动和实验选项
– 可选的性能跟踪和监控利用程序

## Azure账户要求

重要提示：为了部署和运行此示例，您需要：

– Azure 定阅。
– Azure 帐户。
– 创建 Azure 资源组和资源。

## 部署步骤

### 第一步：创建Azure资源

履行以下命令，如果还没有现有的Azure服务并且想要从头开始部署。

“`bash
azd up
“`

### 第二步：部署现有的Azure资源

如果您已有现有的Azure资源，可以通过设置azd环境值来重复使用这些资源。

#### 现有的OpenAI资源

运行以下命令：

“`bash
azd env set AZURE_OPENAI_SERVICE {现有OpenAI服务的名称}
azd env set AZURE_OPENAI_RESOURCE_GROUP {现有资源组的名称，OpenAI服务是在其中创建的}
azd env set AZURE_OPENAI_CHATGPT_DEPLOYMENT {现有ChatGPT部署的名称}（如果您的ChatGPT部署不是默许的’chat’）
azd env set AZURE_OPENAI_EMB_DEPLOYMENT {现有GPT嵌入部署的名称}（如果您的嵌入部署不是默许的’embedding’）
“`

#### 现有的Azure Cognitive Search资源

运行以下命令：

“`bash
azd env set AZURE_SEARCH_SERVICE {现有Azure Cognitive Search服务的名称}
azd env set AZURE_SEARCH_SERVICE_RESOURCE_GROUP {包括ACS服务的现有资源组的名称}
“`

### 第三步：部署其余资源

现在，您可以履行azd up命令来同时部署所需的所有资源和代码。

“`bash
azd up
“`

### 第四步：访问利用程序

完成azd up命令后，将打印出一个URL。您可以点击该URL在浏览器中与利用程序进行交互。

## 运行本地

在成功运行azd up命令后，才能在本地运行。

“`bash
azd auth login
cd app
./start.sh 或 ./start.ps1 或运行 “VS Code Task: Start App”来启动项目。
“`

## 生产环境

本示例设计为您自己的生产利用程序的出发点，但在部署到生产环境之前，您应当对安全性和性能进行仔细审查。以下是一些注意事项：

– OpenAI容量：默许的TPM（每分钟令牌数）设置为30K，大约相当于每分钟30个对话（假定每一个用户消息/响应为1K）。您可以通过更改infra/main.bicep中的chatGptDeploymentCapacity和embeddingDeploymentCapacity参数来增加容量。您还可以在Azure OpenAI Studio的配额选项卡中查看您具有多少容量。
– Azure Storage：默许的存储账户使用标准SKU（Standard_LRS）。为了提高容错性，我们建议在生产部署中使用带有ZRS的标准SKU，您可以在infra/main.bicep中的storage模块下的sku属性中指定。
– Azure Cognitive Search：默许的搜索服务使用标准SKU，并选择了不要钱的语义搜索选项，它给您提供每个月1000个不要钱查询。假定您的利用程序会有超过1000个问题，您应当将semanticSearch更改成“standard”，或在/app/backend/approaches文件中完全禁用语义搜索。如果您看到有关搜索服务容量超过限制的毛病，请斟酌通过更改infra/core/search/search-services.bicep中的replicaCount来增加副本的数量，或通过Azure门户手动扩大它。
– Azure App Service：默许的利用服务计划使用Basic SKU，带有一个CPU核心和1.75 GB RAM。我们建议使用高级SKU，从1个CPU核心开始。您可使用自动缩放规则或计划缩放规则，并根据负载调剂最大/最小值。
– 认证：默许情况下，部署的Azure Web利用程序是公然可访问的。我们建议对验证的用户进行访问限制。有关如何启用身份验证的详细信息，请参阅上面的“启用身份验证”部份。
– 网络设置：我们建议在虚拟网络中部署。如果利用程序只供内部企业使用，请使用专用DNS区域。还可以斟酌使用Azure API管理（APIM）进行防火墙和其他情势的保护。有关详细信息，请浏览Azure OpenAI登陆区域参考架构。
– 负载测试：我们建议根据预期的用户数运行负载测试。您可使用本示例中的locust工具和locustfile.py来进行负载测试，也能够使用Azure负载测试来进行负载测试。

## 常见问题

### 为何我们需要将PDF文件切片，而Azure Cognitive Search支持搜索大文件？

切片操作可以帮助我们限制发送到OpenAI的信息量，以符合令牌限制。通过将内容分割，我们能够很容易地找到可以注入到OpenAI中的潜伏文本块。我们使用的切片方法利用了一个滑动窗口的文本块，这样前一个文本块的句子将成为下一个文本块的开头。这样可以减少丢失文本上下文的机会。

### 怎么上传其他PDF而无需重新部署？

要上传更多的PDF，将它们放在data/文件夹中，并运行./scripts/prepdocs.sh或./scripts/prepdocs.ps1。为了不重新上传现有文档，请将它们移出data文件夹。您也能够实现检查已上传的内容，以查看之前已上传了哪些文档；我们的代码还没有具有此类检查的功能。

### Chat和Ask选项卡有甚么区分？

Chat选项卡使用了chatreadretrieveread.py中编写的方法。它使用ChatGPT API将用户的问题转换为良好的搜索查询。

它查询Azure Cognitive Search以获得该查询的搜索结果（可选使用该查询的向量嵌入）。

然后，它将搜索结果和原始用户问题组合起来，并要求ChatGPT API根据源文件回答问题。它还包括最近4K的消息历史记录（或部署模型允许的最大标记数）。

Ask选项卡使用retrievethenread.py中编写的方法。它查询Azure Cognitive Search以获得用户问题的搜索结果（可选使用该问题的向量嵌入）。

然后，它将搜索结果和用户问题组合起来，并要求ChatGPT API根据源文件回答问题。还有两个其他/ask方法，采取略微区别的方法，但由于langchain的兼容性问题，目前没法正常工作。

### 现有资源的azd up命令是甚么？

azd up命令来自Azure Developer CLI，并负责同时部署Azure资源和将代码部署到所选的Azure主机。azd up命令使用infra/文件夹中的azure.yaml文件和基础设施即代码.bicep文件。本项目的azure.yaml文件声明了几个预打包步骤和部署以后的步骤的”hook”。up命令首先运行prepackage hook，该钩子安装了Node依赖项并构建了基于React.JS的JavaScript文件。然后将所有代码（包括前端和后端）打包到一个zip文件中，稍后将部署这个zip文件。接下来，根据main.bicep和main.parameters.json来配置资源。在此时，由于OpenAI资源位置没有默许值，它会要求您从一组可用的地区当选择一个位置。然后，它将发送要求到Azure来部署所有所需的资源。一旦所有资源都部署终了，它将运行postprovision hook，处理本地数据并将其添加到Azure Cognitive Search索引中。最后，根据azure.yaml肯定Azure主机（在本例中是利用程序服务），并将zip文件上传到Azure利用服务。azd up命令现在已完成，但可能需要另外的5⑴0分钟才能完全可用和正常工作，特别是对初始部署。azd up的相关命令是azd provision（仅用于基础设施文件更改）和azd deploy（仅用于部署更新的利用程序代码）。

### 怎么查看利用程序的日志？

您可使用Azure Portal中的”日志流”或从”高级工具”中下载default_docker.log文件来查看生产日志。以下代码行在app/backend/app.py中配置了日志级别：

“`python
logging.basicConfig(level=os.getenv(“APP_LOG_LEVEL”, “ERROR”))
“`

要更改默许级别，可以在本地或App Service中设置APP_LOG_LEVEL环境变量为允许的日志级别之一：DEBUG，INFO，WARNING，ERROR，CRITICAL。如果您需要在路由处理程序中记录日志，可使用全局变量current_app的记录器：

“`python
async def chat_stream():
current_app.logger.info(“Received /chat request”)
“`

否则，使用logging模块的根记录器：

“`python
logging.info(“System message: %s”, system_message)
“`

如果在App Service中找不到日志，可以查看此博客文章，了解有关调试App Service利用程序部署的技能，或观看此视频以查看App Service日志。

## 故障排除

以下是最多见的故障场景和解决方案：

1. **利用程序未部署成功**

如果利用程序未能成功部署，可以等待5⑴0分钟，然后刷新页面。如果问题依然存在，可以从Azure Portal查看日志以定位问题。

2. **没法访问Azure资源**

确保已正确设置了必要的Azure环境变量，并且帐户具有足够的权限进行操作。如果依然存在问题，请参阅Azure官方文档或与Azure支持团队联系。

3. **OpenAI服务没法访问**

确保已设置了正确的OpenAI环境变量，并且在设置了正确的地区和资源组落后行了身份验证。如果依然存在问题，请参阅Azure OpenAI官方文档或联系Azure OpenAI支持团队。

4. **Azure Cognitive Search出现毛病**

确保Azure Cognitive Search服务已正确配置，并且搜索索引已正确创建。如果依然存在问题，请参阅Azure官方文档或联系Azure支持团队。

5. **利用程序没法运行或交互**

确保在本地环境中使用了正确的命令来启动利用程序，并且所有依赖项都已正确安装。还要确保已正确设置所有一定要的环境变量。如果问题依然存在，请查看利用程序的日志以查找更多详细信息。

以上是一些常见的故障排除步骤和解决方案，如果问题依然存在，请参阅相关的Azure文档或与Azure支持团队联系。

azure openai chat gpt的常见问答Q&A