零基础入门：Ubuntu 22.04系统安装LiteLLM详细步骤

引言

LiteLLM是一个轻量级的语言模型服务框架，它可以帮助开发者快速部署和使用各种大型语言模型(LLM)。本文将详细介绍在Ubuntu 22.04系统上安装LiteLLM的完整步骤，即使你是Linux新手也能轻松完成。

准备工作

在开始之前，请确保你的系统满足以下要求：

Ubuntu 22.04 LTS操作系统
Python 3.8或更高版本
pip包管理工具
至少4GB内存（运行基础模型）
稳定的网络连接

步骤1：更新系统包

首先，我们需要确保系统是最新的。打开终端(Ctrl+Alt+T)并执行以下命令：

代码片段

sudo apt update && sudo apt upgrade -y

参数说明：
– sudo: 以管理员权限运行命令
– apt update: 更新软件包列表
– apt upgrade: 升级已安装的软件包
– -y: 自动回答”yes”以避免交互式确认

步骤2：安装Python和pip

Ubuntu 22.04通常预装了Python3，但我们需要确认并安装pip：

代码片段

# 检查Python版本
python3 --version

# 安装pip和必要的开发工具
sudo apt install python3-pip python3-dev -y

# 验证pip安装
pip3 --version

注意事项：
如果系统中同时存在Python2和Python3，请确保使用python3和pip3命令以避免混淆。

步骤3：创建虚拟环境（推荐）

为了避免与其他Python项目冲突，我们创建一个独立的虚拟环境：

代码片段

# 安装virtualenv工具
sudo pip3 install virtualenv

# 创建项目目录并进入
mkdir litellm_project && cd litellm_project

# 创建虚拟环境
virtualenv venv

# 激活虚拟环境
source venv/bin/activate

激活虚拟环境后，你的终端提示符前会显示(venv)标记。

原理说明：
虚拟环境可以隔离不同项目的依赖关系，防止包版本冲突。

步骤4：安装LiteLLM

现在我们可以安装LiteLLM了：

代码片段

pip install litellm[all]

这个命令会安装LiteLLM及其所有可选依赖项。如果你只需要基本功能，可以使用：

代码片段

pip install litellm

实践经验：
添加[all]后缀会安装所有支持的模型适配器，但会增加安装时间和磁盘空间占用。根据你的实际需求选择。

步骤5：验证安装

让我们编写一个简单的测试脚本来验证LiteLLM是否正确安装：

代码片段

# test_litellm.py
import litellm

response = litellm.completion(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": "你好！你是谁？"}]
)

print(response)

运行脚本：

代码片段

python test_litellm.py

常见问题解决：
1. 缺少API密钥错误：大多数模型需要API密钥才能工作。你需要先在相应平台(如OpenAI)获取API密钥。
2. 网络连接问题：确保你的网络可以访问相关API端点。

步骤6：配置API密钥（可选）

如果你计划使用商业API如OpenAI、Anthropic等，需要配置API密钥。创建配置文件：

代码片段

nano ~/.litellm/config.yaml

添加内容（以OpenAI为例）：

代码片段

model_config:
    gpt-4:
        model: gpt-4-turbo-preview

    claude-instant:
        model: claude-instant-1

environment_variables:
    OPENAI_API_KEY: "your-openai-key"
    ANTHROPIC_API_KEY: "your-anthropic-key"

安全提示：
永远不要将API密钥直接提交到代码仓库中。使用环境变量或配置文件是更安全的方式。

LiteLLM基本使用示例

下面是一个完整的示例，展示如何使用LiteLLM与不同的模型交互：

代码片段

import litellm

# OpenAI GPT示例（需要API密钥）
openai_response = litellm.completion(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": "解释量子计算的基本概念"}]
)
print("OpenAI响应:", openai_response)

# HuggingFace本地模型示例（需先下载模型）
try:
    hf_response = litellm.completion(
        model="huggingface/microsoft/phi-2",
        messages=[{"role": "user", "content": "什么是人工智能？"}]
    )
    print("HuggingFace响应:", hf_response)
except Exception as e:
    print("HuggingFace错误:", str(e))

# Ollama本地运行示例（需先安装Ollama）
try:
    ollama_response = litellm.completion(
        model="ollama/llama2",
        messages=[{"role": "user", "content": "如何学习编程？"}]
    )
    print("Ollama响应:", ollama_response)
except Exception as e:
    print("Ollama错误:", str(e))

LiteLLM服务器模式（高级用法）

如果你想将LiteLLM作为服务运行：

代码片段

litellm --model gpt-3.5-turbo --api_base https://api.openai.com/v1 --port=8000 --debug=True --num_workers=5 --max_batch_size=10 --temperature=0.7 --max_tokens=1000 --allowed_origins "*"

参数解释：
– --model: 指定默认模型
– --api_base: API基础URL
– --port: 服务端口
– --debug: 启用调试模式
– --num_workers: worker进程数
– --max_batch_size:最大批处理大小
– --temperature:生成温度
– --max_tokens:最大token数
– --allowed_origins:允许的CORS源

Docker方式运行（可选）

如果你更喜欢使用Docker容器：

代码片段

docker run -d \
   -p8000:8000 \
   -e OPENAI_API_KEY="your-api-key" \
   ghcr.io/berriai/litellm:main-latest \
   --model gpt-3.5-turbo \
   --port=8000 \
   --debug=True \
   --allowed_origins "*"

总结

通过本文，我们完成了：
1. Ubuntu系统的准备工作 ✅
2. Python和pip的安装 ✅
3. LiteLLM的安装和验证 ✅
4. API密钥的安全配置 ✅
5. LiteLLM的基本使用示例 ✅
6. LiteLLM服务器模式和Docker运行的介绍 ✅

关键要点：