LlamaFile实战：如何用Shell开发高效问答系统

引言

在当今信息爆炸的时代，构建一个高效的问答系统可以帮助我们快速获取所需信息。本文将介绍如何使用Shell脚本结合LlamaFile工具，开发一个轻量级但功能强大的命令行问答系统。这个方案特别适合需要快速部署、资源有限的场景。

准备工作

环境要求

Linux/macOS操作系统
Bash shell（版本4.0+）
curl工具（用于API调用）
jq工具（用于JSON处理）
LlamaFile可执行文件

安装必要工具

代码片段

# Ubuntu/Debian
sudo apt-get update && sudo apt-get install -y curl jq

# CentOS/RHEL
sudo yum install -y curl jq

# macOS (使用Homebrew)
brew install curl jq

核心组件安装与配置

1. 下载LlamaFile

LlamaFile是一个轻量级的本地问答引擎，我们可以从官方仓库获取：

代码片段

# 创建项目目录
mkdir -p ~/llamafile_qa && cd ~/llamafile_qa

# 下载最新版LlamaFile（请替换为实际最新版本）
curl -LO https://github.com/Mozilla-Ocho/llamafile/releases/download/0.1/llamafile-server-0.1

# 添加执行权限
chmod +x llamafile-server-0.1

2. 启动LlamaFile服务

代码片段

# 在后台启动服务（默认端口8080）
./llamafile-server-0.1 --port 8080 > /dev/null 2>&1 &

# 验证服务是否运行
curl -s http://localhost:8080/health | jq .

如果看到类似{"status":"ok"}的响应，说明服务已正常启动。

Shell问答系统开发

1. 基础问答脚本

创建一个名为qa_system.sh的文件：

代码片段

#!/bin/bash

LLAMA_SERVER="http://localhost:8080"

function ask_question() {
    local question="$1"

    # 调用LlamaFile API获取答案
    response=$(curl -s -X POST "$LLAMA_SERVER/v1/chat" \
        -H "Content-Type: application/json" \
        -d '{
            "messages": [
                {
                    "role": "user",
                    "content": "'"$question"'"
                }
            ],
            "temperature": 0.7,
            "max_tokens": 150
        }')

    # 提取并返回答案
    echo "$response" | jq -r '.choices[0].message.content'
}

echo "欢迎使用Shell问答系统 (输入quit退出)"
echo "--------------------------------"

while true; do
    read -p "你的问题: " question

    if [[ "$question" == "quit" ]]; then
        echo "再见!"
        exit 0
    fi

    answer=$(ask_question "$question")
    echo -e "\n回答: $answer\n"
done

2. 脚本说明与原理

API调用部分：
- curl发送POST请求到LlamaFile服务器
- -H设置请求头为JSON格式
- -d包含发送的问题数据，采用标准聊天消息格式
参数解释：
- temperature: 控制回答的创造性（0-1，值越大回答越多样）
- max_tokens: 限制回答的最大长度
响应处理：
- jq工具解析JSON响应并提取回答内容
- .choices[0].message.content是LlamaFile的标准响应格式路径

3. 使脚本可执行并运行

代码片段

chmod +x qa_system.sh
./qa_system.sh

高级功能扩展

1. 添加历史记录功能

修改脚本添加以下函数：

代码片段

function save_history() {
    local question="$1"
    local answer="$2"
    local history_file="${HOME}/.qa_history"

    timestamp=$(date +"%Y-%m-%d %H:%M:%S")
    echo "[$timestamp] Q: $question" >> "$history_file"
    echo "[$timestamp] A: $answer" >> "$history_file"
    echo "" >> "$history_file"
}

# 在输出答案后调用：
save_history "$question" "$answer"

2. 支持多轮对话

修改ask_question函数以保持对话上下文：

“`bash
declare -a conversation_history=()

function ask_question() {
local question=”$1″

代码片段

# 添加新问题到历史记录
conversation_history+=('{"role": "user", "content": "'"$question"'"}')

# Prepare messages array for API call
messages_json=$(printf '%s\n' "${conversation_history[@]}" | jq -s '.')

response=$(curl -s -X POST "$LLAMA_SERVER/v1/chat" \
    -H "Content-Type: application/json" \
    -d '{
        "messages": '"$messages_json"',
        "temperature": 0.7,
        "max_tokens":