云信AI部署

Haystack最新版本在Fedora 38的安装与配置教程

云信安装大师
90
AI 质量分
10 5 月, 2025
2 分钟阅读
0 阅读

Haystack最新版本在Fedora 38的安装与配置教程

引言

Haystack是一个强大的开源框架，用于构建基于深度学习的问答系统和搜索应用。本教程将指导你在Fedora 38系统上安装和配置最新版本的Haystack，帮助你快速搭建自己的问答系统原型。

准备工作

在开始之前，请确保：

  1. 已安装Fedora 38操作系统
  2. 拥有管理员权限（能使用sudo命令）
  3. 至少4GB可用内存（Haystack依赖项较多）
  4. Python 3.9或更高版本（推荐3.10）

第一步：系统更新与依赖安装

首先更新系统并安装必要的开发工具：

代码片段 
sudo dnf update -y
sudo dnf install -y python3-pip python3-devel gcc-c++ make git

说明：
– python3-devel包含Python开发头文件
– gcc-c++和make用于编译某些Python包的C扩展

第二步：创建Python虚拟环境

为避免与其他项目冲突，我们创建一个独立的虚拟环境：

代码片段 
python3 -m venv haystack-env
source haystack-env/bin/activate

验证：命令行提示符前应出现(haystack-env)标记。

第三步：安装Haystack核心包

现在可以安装Haystack及其主要依赖：

代码片段 
pip install farm-haystack[all]

注意事项：
– [all]选项会安装所有可选依赖，包括各种文档存储和检索器
– 首次安装可能需要10-15分钟，具体取决于网络速度

第四步：验证安装

创建一个简单的Python脚本来测试安装是否成功：

代码片段 
# test_haystack.py
from haystack.document_stores import InMemoryDocumentStore

document_store = InMemoryDocumentStore()
print("Haystack已成功安装！文档存储已初始化。")

运行测试脚本：

代码片段 
python test_haystack.py

预期输出：

代码片段 
Haystack已成功安装！文档存储已初始化。

第五步：可选组件配置（Elasticsearch）

如果你需要使用Elasticsearch作为文档存储：

  1. 首先添加Elasticsearch仓库：
代码片段 
sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
sudo tee /etc/yum.repos.d/elasticsearch.repo <<EOF
[elasticsearch]
name=Elasticsearch repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
EOF
  1. 安装并启动Elasticsearch：
代码片段 
sudo dnf install -y elasticsearch
sudo systemctl enable --now elasticsearch.service
  1. 验证Elasticsearch运行状态：
代码片段 
curl -X GET "localhost:9200/?pretty"
  1. 在Python中配置Elasticsearch文档存储：
代码片段 
from haystack.document_stores import ElasticsearchDocumentStore

document_store = ElasticsearchDocumentStore(
    host="localhost",
    port="9200",
    username="", 
    password="",
    index="document"
)

第六步：运行示例问答系统

让我们创建一个简单的问答管道：

代码片段 
# simple_qa.py
from haystack.nodes import FARMReader, BM25Retriever, TransformersReader, AnswerParser, PromptNode, PromptTemplate, QuestionGenerator, EmbeddingRetriever, TfidfRetriever, SentenceTransformersRanker, TransformersSummarizer, QuestionAnswerGenerator, DocumentMerger, FileTypeClassifier, PDFToTextConverter, TextConverter, PreProcessor, RouteDocuments, JoinAnswers, Docs2Answers, DocClassificationEvaluator 
from haystack.document_stores import InMemoryDocumentStore 
from haystack.pipelines import ExtractiveQAPipeline 

# 1. 初始化内存文档存储 
document_store = InMemoryDocumentStore(use_bm25=True) 

# 2. 添加一些示例文档 
documents = [ 
    {"content": "Python是一种解释型、高级、通用的编程语言。"}, 
    {"content": "Fedora是由Red Hat赞助的社区驱动的Linux发行版。"}, 
    {"content": "Haystack是一个用于构建问答系统的开源框架。"} 
] 

document_store.write_documents(documents) 

# 3. 初始化检索器和阅读器 
retriever = BM25Retriever(document_store=document_store) 
reader = FARMReader(model_name_or_path="deepset/roberta-base-squad2", use_gpu=False) 

# 4. 创建问答管道 
pipeline = ExtractiveQAPipeline(reader=reader, retriever=retriever) 

# 5. 提出问题并获取答案 
question = "什么是Haystack?" 
prediction = pipeline.run(query=question) 

print(f"问题: {question}") 
print(f"答案: {prediction['answers'][0].answer}") 
print(f"置信度: {prediction['answers'][0].score:.2f}")

运行示例：

代码片段 
python simple_qa.py

预期输出类似：

代码片段 
问题: Haystack是什么?
答案: Haystack是一个用于构建问答系统的开源框架。
置信度: 0.95

常见问题解决

  1. 内存不足错误：

    代码片段 
    # Fedora默认swap空间可能不足，可以增加swap:
sudo fallocate -l 4G /swapfile && sudo chmod 600 /swapfile && sudo mkswap /swapfile && sudo swapon /swapfile && echo '/swapfile none swap sw' | sudo tee -a /etc/fstab'

  2. pip安装速度慢：

    代码片段 
    pip install --upgrade pip setuptools wheel && pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple'

  3. Elasticsearch启动失败：
    “`bash’

    检查日志:

    journalctl -u elasticsearch –no-pager | tail -n50′

    常见解决方案:

    sudo sysctl -w vm.maxmapcount=262144′
    echo ‘vm.maxmapcount=262144′ | sudo tee -a /etc/sysctl.conf’
    “`

总结

通过本教程，你已经成功在Fedora38上完成了以下工作:

1．安装了最新版HaystaCK及其依赖项
2．配置了基本的文档存储(内存和ElasticseaRCH两种方式)
3．构建并测试了一个简单的问答管道

下一步建议:

•探索不同类型的检索器(EmbeddingRetriever,TfidfRetriever等)
•尝试不同的预训练模型
•学习如何将自己的数据导入到文档存储中

希望本教程能帮助你顺利开始使用HaystaCK!如果在实践中遇到任何问题欢迎在评论区留言讨论。

原创 高质量