How to Build a Question-Answering App with LangChain and OpenAI(langchain question answering without

ChatGPT账号购买平台发布时间：2024-03-01 浏览量：3

I. 使用LangChain回答问题的介绍

问题回答的需求和背景：

现代技术使发问和回答问题的进程更加高效和便捷。在信息爆炸的时期，我们需要能够快速找到并准确回答问题的工具。问题回答的需求来自于这类需求，人们希望能够通过向机器发问，通过机器智能地分析文档和资源来获得准确的答案。

LangChain的概述及其与OpenAI的区分：

LangChain是一种能够回答问题的人工智能系统。它的特点在于可以自动分析文档和资源，并根据问题返回准确的答案。与OpenAI相比，LangChain在回答问题方面具有更高的自定义性和可扩大性。OpenAI更侧重于提供更通用的自然语言处理功能，而LangChain侧重于问题回答。

II. 使用Hugging Face LLM进行文档互动

Hugging Face LLM介绍：

Hugging Face LLM是一种基于开放源代码的LM（语言模型），它提供了文档互动的功能。通过使用LLM，我们可以将问题与文档交互，并获得问题的回答。

使用Hugging Face LLM与文档交互的步骤：

加载LLM模型。
将文档输入模型。
提出问题。
获得回答。

III. 在本地运行多个Word文档的问题回答

使用类似LangChain的方法本地运行：

通过使用类似LangChain的方法，我们可以在本地运行多个Word文档的问题回答。这类方法可以免依赖OpenAI API的限制和本钱。

替换OpenAI模型进行本地运行的尝试：

为了在本地运行问题回答，我们可以尝试用其他开源模型替换OpenAI模型。例如，可以尝试使用“bloom⑺b1”或“flan-t5-xl”来替换OpenAI模型，以实现本地真个问题回答功能。

IV. 使用LLMs构建问题回答利用程序

LLMs构建问题回答利用程序的相关用例：

使用LLMs可以构建各种问题回答利用程序，包括但不限于：

在线文档问答平台。
电子书问答系统。
专家咨询平台。
知识库搜索引擎。

问题回答利用程序的构建步骤：

准备LLM模型。
建立用户接口。
加载问题和文档。
实现问题回答逻辑。
返回问题的答案。

V. 使用LangChain回答基于PDF文档的问题

构建基于PDF文档的问题回答利用程序的步骤：

将PDF文档转换为文本。
使用LangChain加载问题和文档。
使用LangChain回答问题。
返回问题的答案。

LangChain回答PDF文档问题的原理：

LangChain通过对问题和PDF文档进行分析和匹配，使用高级语言模型进行推理和答案生成。它能够根据问题的上下文和PDF文档的内容来产生准确的答案。

VI. 结合Qdrant和OpenAI LLM进行问题回答

从Qdrant加载信息并使用OpenAI LLM进行分析：

通过从Qdrant加载信息，并使用OpenAI LLM进行分析，我们可以实现更复杂的问题回答。Qdrant可以提供数据的索引和搜索功能，而OpenAI LLM可以用于对数据进行自然语言处理和问题回答。

使用Qdrant和OpenAI LLM来解决给定问题：

通过结合Qdrant和OpenAI LLM，我们可以将问题与索引的数据进行匹配，并使用OpenAI LLM来生成答案。这类结合可以提供更精确和全面的问题回答。

langchain question answering without openai的进一步展开说明

怎样使用LangChain和OpenAI构建问答利用

LangChain是一个自然语言处理库，提供了各种用于处理文本数据的工具和模型。在本博客文章中，我们将使用LangChain开发一个问答利用程序，该利用程序可以根据一组PDF文档回答问题。

加载PDF文档

开发利用程序的第一步是使用PyPDFLoader加载PDF文档。我们可以指定包括PDF文件的文件夹的路径，并迭代每一个文件以将文档的内容加载到内存中。在加载文档时，我们使用进度条来显示进度。

from langchain.document_loaders import PyPDFLoader
from tqdm import tqdm
import pickle

pdf_folder_path = '/Users/carrotcake/Projects/Langchain/data'
loaders = [PyPDFLoader(os.path.join(pdf_folder_path, fn)) for fn in os.listdir(pdf_folder_path)]
documents = []

for loader in tqdm(loaders):
    try:
        documents.extend(loader.load())
    except:
        pass

with open('my_documents.pkl', 'wb') as f:
    pickle.dump(documents, f)

分割文档

接下来，我们使用CharacterTextSplitter将文档分割成较小的块。这样可以提高处理文档的性能和准确性。

from langchain.text_splitter import CharacterTextSplitter

text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
texts = text_splitter.split_documents(documents)

创建嵌入向量

在将文档分割以后，我们可以为每一个文本块创建嵌入向量，使用OpenAIEmbeddings实现。然后，我们使用这些嵌入向量使用Chroma包创建一个向量存储索引。

from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import Chroma

embeddings = OpenAIEmbeddings()
db = Chroma.from_documents(texts, embeddings)

创建检索接口

我们可使用as_retriever()方法从向量存储索引中创建一个检索接口。这样就能够根据给定的查询在文档中搜索相关信息。

from langchain.indexes import VectorstoreIndexCreator

retriever = db.as_retriever(search_type="similarity", search_kwargs={"k":2})

创建检索式问答系统

最后，我们使用RetrievalQA类创建一个基于检索的问答系统。该类接受一个语言模型、一个检索接口和要使用的链式类型（在本例中为“stuff”）。然后，我们可以将问题作为字符串传入，系统将根据索引中的文档返回一个最相关的答案。

from langchain.llms import OpenAI
from langchain.chains import RetrievalQA

qa = RetrievalQA.from_chain_type(llm=OpenAI(), chain_type="stuff", retriever=retriever, return_source_documents=True)
query = "这些PDF文件讨论甚么？"
result = qa({"query": query})

在上面的示例中，我们提出了一个问题，询问PDF文件讨论的内容。系统随后返回一个响应，唆使这些文件仿佛是解密的二战文件，并提供包括此信息的源文件。

结论

LangChain为开发自然语言处理利用程序提供了一套强大的工具。通过利用这些工具，我们可以开发一个问答利用程序，可以从一组PDF文档中提取相关信息。

langchain question answering without openai的常见问答Q&A

问题1：Langchain 是甚么？

答案：Langchain 是一个不要钱的人工智能工具，用于与文档进行交互。它利用了开源的 Hugging Face LLM（Language Learning Model）技术，可以对文档和 PDF 进行问答和交换。Langchain 的目标是通过自然语言处理技术，使用户能够更方便地与文档进行沟通和查询。

使用 Langchain 进行问答，可以通过对文档提出问题，获得答案或相关信息。
Langchain 还支持在多个辞汇文档中进行问答，并提供与开放式人工智能（OpenAI）的接口兼容。
Langchain 还可以用于开发基于文档的利用程序，例如基于 PDF 的问答利用。

问题2：Langchain 能够替换 OpenAI API 吗？

答案：目前存在一种讨论，就是能否在不使用 OpenAI API 的情况下使用 Langchain。有人尝试将 OpenAI 替换为其他模型（如 “bloom⑺b1” 或 “flan-t5-xl”），并使用代理与 Langchain 进行交互。但目前还没有确切的结论说明会不会可以完全替换 OpenAI API。

根据 Issue #2182，有用户试图在不借助 OpenAI API 的情况下使用 Langchain 进行问答，但需要进行一些替换和调剂。
由于 Langchain 依赖于 OpenAI LLM，使用其他模型可能需要更改代码和配置。
目前，还没有官方文档或说明说明怎样在不使用 OpenAI API 的情况下完全使用 Langchain。

问题3：怎样在 Langchain 中进行问答？

答案：在 Langchain 中进行问答有四种方法：

利用 Langchain 提供的接口和 OpenAI LLM 模型，可以通过对文档发问来获得答案。
可使用 Langchain 构建问答类利用程序，例如基于 PDF 文档的问答利用。
Langchain 还支持与 Qdrant 结合使用，即先从 Qdrant 加载一些事实信息，然后将其输入到 OpenAI LLM 中，以获得给定问题的答案。
可以通过设置 OpenAI API 及相关代码，实现 Langchain 与外部文档的问答交互。

问题4：怎样使用 Hugging Face LLM 构建问答利用程序？

答案：使用 Hugging Face LLM 构建问答利用程序的步骤以下：

了解 Langchain 并获得相应的文档或 PDF。
使用 OpenAI API 获得相应的访问密钥。
编写代码，利用 Langchain 接口和 OpenAI LLM 模型，对文档发问并获得答案。
根据需要，可使用 Qdrant 加载一些事实信息，然后将其输入到 OpenAI LLM 中，以便更准确地回答问题。
根据业务需求，将问答利用程序与其他组件或接口进行集成，以实现更多功能或定制化需求。