云信AI部署

企业应用中如何用Python高效实现LangChain进行文档检索和问答

云信安装大师
90
AI 质量分
2 5 月, 2025
2 分钟阅读
0 阅读

企业应用中如何用Python高效实现LangChain进行文档检索和问答

引言

在企业应用中，文档检索和智能问答系统可以显著提升员工工作效率。本文将介绍如何使用Python和LangChain框架构建一个高效的文档检索与问答系统，帮助员工快速从海量企业文档中找到所需信息。

准备工作

环境要求

  • Python 3.8+
  • pip包管理工具
  • 推荐使用虚拟环境

安装依赖

代码片段 
pip install langchain openai faiss-cpu tiktoken pypdf

API密钥准备

需要准备OpenAI API密钥(或其他LLM提供商的密钥)

核心概念解释

LangChain是什么？

LangChain是一个用于开发由语言模型驱动的应用程序的框架，它提供了:
1. 文档加载和预处理能力
2. 向量存储和检索功能
3. 与大语言模型(LLM)的集成接口

为什么选择LangChain？

  1. 模块化设计：可以灵活组合不同组件
  2. 高效检索：支持多种向量数据库
  3. 企业友好：支持本地部署和大规模文档处理

完整实现步骤

1. 文档加载与预处理

代码片段 
from langchain.document_loaders import PyPDFLoader, DirectoryLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

# PDF文档加载 (假设所有PDF放在./docs目录下)
loader = DirectoryLoader('./docs', glob="**/*.pdf", loader_cls=PyPDFLoader)
documents = loader.load()

# 文本分割 (将大文档切分为小块)
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000,  # 每个块1000个字符
    chunk_overlap=200, # 块之间重叠200字符保持上下文
    length_function=len
)
texts = text_splitter.split_documents(documents)

print(f"共加载 {len(documents)} 个文档，分割为 {len(texts)} 个文本块")

原理说明：
– chunk_size控制每个文本块的大小，影响后续向量化效果
– chunk_overlap确保关键信息不会在分割边界丢失

2. 创建向量数据库

代码片段 
from langchain.embeddings import OpenAIEmbeddings
from langchain.vectorstores import FAISS

# 使用OpenAI的嵌入模型 (也可替换为HuggingFace等本地模型)
embeddings = OpenAIEmbeddings(openai_api_key="你的API密钥")

# 创建FAISS向量存储 (轻量级且高效的本地向量数据库)
vectorstore = FAISS.from_documents(texts, embeddings)

# 保存向量数据库到本地 (便于后续复用)
vectorstore.save_local("faiss_index")

实践经验：
1. FAISS适合中小规模数据集(百万级以下)，如需更大规模考虑Milvus或Pinecone
2. API调用会有延迟，首次运行可能需要几分钟时间

3. 构建问答系统

代码片段 
from langchain.chains import RetrievalQA
from langchain.chat_models import ChatOpenAI

# 加载之前保存的向量数据库
vectorstore = FAISS.load_local("faiss_index", embeddings)

# 创建检索式问答链
qa_chain = RetrievalQA.from_chain_type(
    llm=ChatOpenAI(temperature=0, model_name="gpt-3.5-turbo"),
    chain_type="stuff",
    retriever=vectorstore.as_retriever(search_kwargs={"k":3}),
    return_source_documents=True,
    verbose=True
)

# 示例问题查询
query = "我们公司的请假政策是什么？"
result = qa_chain({"query": query})

print("答案:", result["result"])
print("\n来源文档:")
for doc in result["source_documents"]:
    print(doc.metadata["source"], "第", doc.metadata["page"], "页")

参数解释：
– temperature=0：减少随机性，使回答更确定可靠
– search_kwargs={"k":3}：检索最相关的3个文本块
– chain_type="stuff"：将所有相关上下文一起传给LLM

性能优化技巧

1. 缓存机制减少API调用

代码片段 
from langchain.cache import InMemoryCache
import langchain
langchain.llm_cache = InMemoryCache()

2. Hybrid搜索提升召回率

代码片段 
from langchain.retrievers import BM25Retriever, EnsembleRetriever

# TF-IDF检索器 (传统关键词匹配) 
bm25_retriever = BM25Retriever.from_documents(texts)
bm25_retriever.k =  2 

# FAISS检索器 (语义搜索) 
faiss_retriever = vectorstore.as_retriever(search_kwargs={"k":4})

# 组合两种检索器 
ensemble_retriever = EnsembleRetriever(
    retrievers=[bm25_retriever, faiss_retriever],
    weights=[0.5,0.5]
)

qa_chain.retriever = ensemble_retriever #替换原有检索器

企业部署注意事项

1.权限控制:确保只有授权员工可以访问敏感文档
2.日志记录:记录所有查询用于审计和分析
3.定期更新:设置定时任务更新向量数据库

完整示例代码

GitHub Gist链接包含完整可运行的Jupyter notebook

总结

通过LangChain我们可以快速构建企业级文档问答系统:
1.PDF等非结构化数据→文本分块→向量化存储
2.FAISS实现高效相似度搜索
3.GPT等大语言模型生成自然语言回答

关键优势:
✔️处理企业内部各种格式文档
✔️比传统关键词搜索更理解用户意图
✔️部署简单无需复杂基础设施

原创 高质量