云信AI部署

Qdrant与Ruby结合：打造强大的自然语言处理系统

云信安装大师
90
AI 质量分
11 5 月, 2025
2 分钟阅读
0 阅读

Qdrant与Ruby结合：打造强大的自然语言处理系统

引言

在当今数据驱动的世界中，向量搜索引擎已成为处理高维数据（如文本、图像等）的关键技术。Qdrant是一个开源的向量搜索引擎，专门为高效存储和检索向量而设计。本文将介绍如何将Qdrant与Ruby结合使用，构建一个强大的自然语言处理(NLP)系统。

准备工作

环境要求

  1. Ruby 2.7+ (推荐3.0+)
  2. Qdrant服务 (可以通过Docker或直接安装)
  3. Bundler (Ruby的依赖管理工具)

安装Qdrant

最简单的方式是使用Docker运行Qdrant：

代码片段 
docker pull qdrant/qdrant
docker run -p 6333:6333 qdrant/qdrant

这将启动一个本地Qdrant服务，监听6333端口。

安装必要的Ruby gem

在你的Gemfile中添加：

代码片段 
gem 'qdrant-ruby', '~> 0.9.0'
gem 'sentence-transformers', '~> 0.1.0'

然后运行：

代码片段 
bundle install

sentence-transformers gem将帮助我们生成文本的向量表示。

基础设置

连接到Qdrant服务

首先，让我们创建一个Qdrant客户端：

代码片段 
require 'qdrant'

client = Qdrant::Client.new(
  url: "http://localhost:6333",
  api_key: nil # 如果有API密钥的话可以在这里设置
)

# 检查连接是否成功
puts client.collections.list # 应该返回空数组或已有集合列表

创建集合(Collection)

在Qdrant中，”集合”类似于传统数据库中的表。我们需要为我们的NLP数据创建一个集合：

代码片段 
collection_name = "articles"

# 定义集合配置 - 这里我们使用384维的向量(这是all-MiniLM-L6-v2模型的输出维度)
collection_config = {
  vectors: {
    size: 384,   # 向量维度
    distance: "Cosine" # 相似度计算方式(Cosine适合文本相似度)
  }
}

# 创建集合(如果不存在)
unless client.collections.list.collections.map(&:name).include?(collection_name)
  client.collections.create(
    collection_name: collection_name,
    vectors_config: collection_config[:vectors]
  )
end

puts "集合 '#{collection_name}' 已创建或已存在"

NLP数据处理流程

1. 文本向量化

我们将使用sentence-transformers gem来将文本转换为向量：

代码片段 
require 'sentence_transformers'

# 初始化模型(第一次运行会自动下载模型)
model = SentenceTransformers::SentenceTransformer.new("all-MiniLM-L6-v2")

# 示例文本
texts = [
  "Ruby是一种动态、开源的编程语言",
  "Python是一种广泛使用的高级编程语言",
  "Qdrant是一个高效的向量搜索引擎"
]

# 生成嵌入向量(embeddings)
embeddings = model.encode(texts)

puts "生成的嵌入向量维度: #{embeddings.first.size}" # => [384]

2.存储向量到Qdrant

现在我们将这些向量和原始文本存储到Qdrant中：

代码片段 
points = texts.each_with_index.map do |text, idx|
{
    id: idx +1, # Qdrant中的点ID必须是整数或UUID
    vector: embeddings[idx],
    payload: {
      text: text,
      timestamp: Time.now.to_i
    }
}
end

# Upsert操作(插入或更新)
client.points.upsert(
    collection_name: collection_name,
    points: points,
    wait: true #等待操作完成后再返回
)

puts "#{points.size}个点已成功存储"

NLP应用示例：语义搜索

现在我们可以实现一个简单的语义搜索功能：

代码片段 
def semantic_search(query_text, limit=3)
    # Step1:将查询文本转换为向量
    query_vector = model.encode([query_text]).first

    # Step2:在Qdrant中搜索相似的向量
    search_result = client.points.search(
        collection_name: collection_name,
        vector: query_vector,
        limit: limit,
        with_payload: true,
        with_vectors: false
    )

    # Step3:格式化结果
    search_result.result.map do |point|
        {
            id: point.id,
            score: point.score,
            text: point.payload["text"]
        }
    end
end

#测试搜索功能
results = semantic_search("一种编程语言")
puts "搜索结果："
results.each { |r| puts "#{r[:text]} (相似度分数:#{r[:score].round(4)})" }

预期输出可能类似于：

代码片段 
搜索结果：
Ruby是一种动态、开源的编程语言 (相似度分数：0.8321)
Python是一种广泛使用的高级编程语言 (相似度分数：0.8124)
Qdrant是一个高效的向量搜索引擎 (相似度分数：0.2345)

NLP应用进阶：推荐系统

我们可以基于用户的查询历史构建一个简单的推荐系统：

代码片段 
def recommend_similar(user_query_history, limit=5)
    # Step1：平均用户历史查询的向量表示作为用户兴趣表示

    return [] if user_query_history.empty?

    history_vectors = model.encode(user_query_history) 

    avg_vector = history_vectors.transpose.map { |dim| dim.sum / dim.size }

    # Step2：搜索与平均向量最相似的文档

    search_result = client.points.search(
        collection_name: collection_name,
        vector: avg_vector,
        limit: limit,
        with_payload: true,
        with_vectors: false,
        score_threshold:0.5 #只返回相似度大于0.5的结果 
     )

     search_result.result.map do |point|
         {
             id : point.id ,
             score : point.score ,
             text : point.payload["text"]
         }
     end 
end 

#测试推荐功能 
user_history=[
   "我喜欢Ruby编程",
   "动态类型语言的优点"
] 

recommendations=recommend_similar(user_history) 

puts "\n基于您的兴趣推荐：" 
recommendations.each{|r| puts "#{r[:text]} (推荐分数:#{r[:score].round(4)})"}

性能优化与注意事项

1.批量处理：当需要处理大量数据时，应该批量上传而不是单条上传：

代码片段 
large_texts.each_slice(100) do |batch| 
    embeddings=model.encode(batch) 
    points=batch.each_with_index.map{|text,idx|...} 
    client.points.upsert(...) 
end <br>

2.选择合适的距离度量：
– Cosine（余弦）：最适合文本相似度（默认）
– Euclidean（欧几里得）：适合坐标数据
– Dot（点积）：某些特定场景可能更优

3.索引配置：对于大型数据集，合理配置索引很重要：

代码片段 
client.collections.update(
    collection_name:"articles",  
    optimizers_config:{
        indexing_threshold :20000,#当点数达到20000时开始建立索引  
        memmap_threshold :50000,#当点数达到50000时启用内存映射  
    }  
)  <br>

4.选择合适的模型：
– all-MiniLM-L6-v2：速度快但精度一般（384维）
– all-mpnet-base-v2：精度高但较慢（768维）

总结

通过本文，我们学习了如何将Qdrant与Ruby结合来构建NLP系统：

1.Qdrant提供了高效的向量存储和检索能力
2.Ruby生态中的sentence-transformers可以方便地生成文本嵌入
3.Qdrant-Ruby客户端使得集成变得简单

这种组合非常适合构建：
-语义搜索引擎
-个性化推荐系统
-问答系统
-文档去重等应用

下一步你可以尝试：
1.添加更多元数据到payload中（如分类标签）
2.实现混合搜索（结合关键词和语义）
3.部署到生产环境并监控性能

原创 高质量