云信AI部署

2025年05月最新！Windows Server 2022系统LiteLLM安装详解

云信安装大师
90
AI 质量分
10 5 月, 2025
2 分钟阅读
0 阅读

2025年05月最新！Windows Server 2022系统LiteLLM安装详解

引言

LiteLLM是一个轻量级的语言模型接口库，能够简化大型语言模型(LLM)的调用流程。本文将详细介绍在Windows Server 2022系统上安装配置LiteLLM的全过程，帮助开发者快速搭建本地AI开发环境。

准备工作

系统要求

  • Windows Server 2022 (版本21H2或更新)
  • 管理员权限
  • Python 3.9+ (推荐3.10)
  • 至少8GB内存（运行基础模型）
  • 50GB可用磁盘空间（用于模型存储）

前置软件安装

  1. 安装Python：

    代码片段 
    # 下载Python安装包（以3.10为例）
Invoke-WebRequest -Uri "https://www.python.org/ftp/python/3.10.11/python-3.10.11-amd64.exe" -OutFile "python-installer.exe"

# 运行安装程序（注意勾选"Add Python to PATH"）
.\python-installer.exe /quiet InstallAllUsers=1 PrependPath=1

  2. 验证Python安装：

    代码片段 
    python --version
pip --version

LiteLLM安装步骤

步骤1：创建虚拟环境（推荐）

代码片段 
# 创建虚拟环境目录
mkdir C:\llm-env
cd C:\llm-env

# 创建虚拟环境
python -m venv venv

# 激活虚拟环境
.\venv\Scripts\activate

注意：虚拟环境可以隔离依赖，避免与其他项目冲突。每次使用前都需要激活。

步骤2：安装LiteLLM核心包

代码片段 
pip install litellm==1.7.0 --upgrade

版本说明：截至2025年5月，1.7.0是最新稳定版。可通过pip install litellm --upgrade获取最新版本。

步骤3：安装可选依赖（按需）

代码片段 
# OpenAI兼容接口支持
pip install openai

# HuggingFace本地模型支持（需要PyTorch）
pip install torch transformers

# Anthropic Claude支持（如使用）
pip install anthropic

LiteLLM基本配置

配置文件示例

在项目目录创建config.yaml：

代码片段 
model_providers:
  openai:
    api_key: "your-openai-key" # OpenAI API密钥

local_models:
  huggingface:
    cache_dir: "C:/models" # HuggingFace模型缓存目录

logging:
 level: INFO # DEBUG | INFO | WARNING | ERROR

安全提示：API密钥应通过环境变量设置，不要直接硬编码在配置文件中。

环境变量设置（推荐）

代码片段 
# PowerShell设置环境变量示例
[System.Environment]::SetEnvironmentVariable('OPENAI_API_KEY','your-api-key',[System.EnvironmentVariableTarget]::User)

LiteLLM基本使用示例

API服务启动

代码片段 
litellm --config ./config.yaml --port 8000 --host 0.0.0.0 --debug

参数说明：
– --port: API服务端口号（默认8000）
– --host: 绑定地址（0.0.0.0允许外部访问）
– --debug: 调试模式输出详细信息

Python调用示例

创建test_llm.py文件：

代码片段 
import litellm

# OpenAI兼容调用示例（需配置api_key）
response = litellm.completion(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": "你好！请介绍一下你自己"}]
)

print(response)

# HuggingFace本地模型调用示例（需先下载模型）
local_response = litellm.completion(
    model="huggingface/microsoft/phi-2",
    messages=[{"role": "user", "content": "Explain quantum computing"}]
)

print(local_response)

Windows Server特有配置建议

  1. 防火墙设置：

    代码片段 
    # 允许8000端口入站流量（根据实际端口调整）
New-NetFirewallRule -DisplayName "LiteLLM Port" -Direction Inbound -LocalPort 8000 -Protocol TCP -Action Allow

  2. 开机自启动服务：
    创建start_llm.bat文件：

    代码片段 
    @echo off
cd /d C:\llm-env\
call .\venv\Scripts\activate.bat 
litellm --config C:\llm-env\config.yaml --port 8000 >> C:\llm-env\log.txt

    然后创建计划任务：

    代码片段 
    $action = New-ScheduledTaskAction -Execute 'C:\llm-env\start_llm.bat'
$trigger = New-ScheduledTaskTrigger -AtStartup 
Register-ScheduledTask -TaskName "LiteLLM Service" -Action $action -Trigger $trigger -RunLevel Highest

常见问题解决

  1. CUDA错误：
    如果使用NVIDIA GPU加速，确保已安装对应版本的CUDA Toolkit和cuDNN。

  2. 端口冲突：
    修改--port参数或停止占用端口的服务：

    代码片段 
    netstat -ano | findstr :8000 
taskkill /PID <PID> /F

  3. 内存不足：
    对于大型模型，可添加交换文件：

    代码片段 
      wsl --set-default-version 2 # WSL2提供更好的内存管理

总结

本文详细介绍了在Windows Server 2022上部署LiteLLM的完整流程：

  1. Python环境和必要依赖的安装
  2. LiteLLM核心组件和可选模块的配置
    3.Windows Server特有的优化设置
    4.Python调用和API服务启动方法

通过以上步骤，您已经成功搭建了一个可用于生产环境的轻量级语言模型服务平台。如需进一步扩展功能，可以参考官方文档添加更多模型提供商支持。

原创 高质量