云信AI部署

Windows 11最新教程：使用Ollama本地运行大模型的完整配置手册

云信安装大师
90
AI 质量分
11 5 月, 2025
2 分钟阅读
0 阅读

Windows 11最新教程：使用Ollama本地运行大模型的完整配置手册

引言

在AI技术飞速发展的今天，大型语言模型(LLM)已经成为技术热点。但很多开发者面临的问题是：如何在没有强大云端资源的情况下，在本地运行这些大模型？本教程将手把手教你如何在Windows 11系统上使用Ollama框架来本地运行大语言模型。

准备工作

环境要求

  1. Windows 11操作系统(21H2或更高版本)
  2. 至少16GB内存(推荐32GB以上)
  3. 至少50GB可用磁盘空间
  4. NVIDIA显卡(推荐RTX 3060及以上)并安装最新驱动

前置知识

  • 基本的命令行操作经验
  • 了解Python环境配置

第一步：安装WSL2和CUDA支持

Ollama在Windows上通过WSL2(Linux子系统)运行，首先我们需要启用这个功能：

代码片段 
# 以管理员身份打开PowerShell并执行：
wsl --install

这个命令会自动安装WSL2和默认的Ubuntu发行版。安装完成后需要重启电脑。

注意事项：
– 如果遇到虚拟化相关错误，需进入BIOS启用虚拟化技术(VT-x/AMD-V)
– WSL2需要Windows 10版本2004或更高版本，Windows 11原生支持

第二步：安装NVIDIA CUDA工具包

访问NVIDIA开发者网站下载适用于WSL的CUDA工具包。

选择：
– Operating System: Linux
– Distribution: WSL-Ubuntu
– Version: 2.0
– Installer Type: deb (local)

下载完成后，在Ubuntu子系统中安装：

代码片段 
sudo dpkg -i cuda-repo-wsl-ubuntu-12-3-local_12.3.1-1_amd64.deb
sudo cp /var/cuda-repo-wsl-ubuntu-12-3-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda

验证安装：

代码片段 
nvidia-smi

应该能看到你的GPU信息和CUDA版本。

第三步：安装Ollama

现在我们可以安装Ollama本体了：

代码片段 
curl -fsSL https://ollama.com/install.sh | sh

这个脚本会自动完成以下工作：
1. 添加Ollama官方仓库
2. 安装ollama二进制文件
3. 设置系统服务

启动Ollama服务：

代码片段 
ollama serve &

第四步：下载并运行模型

Ollama支持多种开源大模型，我们先尝试Llama2：

代码片段 
ollama pull llama2

下载完成后运行模型：

代码片段 
ollama run llama2

实践经验：
– Llama2基础版需要约4GB显存，7B参数版本需要约10GB显存
– 首次运行会较慢，因为需要初始化模型权重

第五步：与模型交互示例

成功启动后，你会看到提示符>>>，可以开始对话了：

代码片段 
>>> 用简单的语言解释量子计算是什么?
量子计算就像使用一种特殊的计算机...

尝试更复杂的交互：

代码片段 
>>> /help 
这将显示所有可用命令列表...

>>> /set verbose 
开启详细输出模式...

>>> /exit 
退出对话...

第六步：高级配置（可选）

GPU加速配置

编辑配置文件优化GPU使用：

代码片段 
nano ~/.ollama/config.json

添加以下内容：

代码片段 
{
    "accelerators": [
        {
            "device": "cuda",
            "memory": "16GB"
        }
    ]
}

自定义模型参数

运行模型时指定参数：

代码片段 
ollama run llama2 --num_ctx=4096 --temperature=0.7 --top_k=40 --top_p=0.9 --repeat_last_n=64 --repeat_penalty=1.1 --seed=-1 --tfs_z=1 --typical_p=1 --mirostat=0 --mirostat_tau=5.0 --mirostat_eta=0.1

各参数说明：
– num_ctx:上下文窗口大小(影响记忆长度)
– temperature:控制随机性(0~1)
– top_k/top_p:采样策略参数

常见问题解决

Q1: WSL无法识别GPU怎么办？

A:
1. 确保已安装WSL专用NVIDIA驱动
2. Windows终端必须以管理员身份运行

Q2: Ollama运行时内存不足？

A:
1. wsl --shutdown关闭WSL后重新启动释放内存
2. wsl -d Ubuntu -u root -- sysctl vm.drop_caches=3清理缓存

Q3:下载模型速度慢？

A:
可以设置国内镜像源：

代码片段 
export OLLAMA_HOST=https://mirror.example.com #替换为实际镜像地址  
ollama pull llama2

性能优化建议

  1. 量化模型：使用4-bit量化版本减少显存占用

    代码片段 
    ollama pull llama2:7b-q4_0

  2. 批处理请求：一次性提交多个问题提高吞吐量

  3. 调整线程数：

    代码片段 
    export OMP_NUM_THREADS=8 #根据CPU核心数设置

  4. 禁用GUI效果：减少Windows动画效果释放更多资源给WSL

Python集成示例

如果你想在Python程序中使用Ollama:

代码片段 
import requests

response = requests.post(
    'http://localhost:11434/api/generate',
    json={
        'model': 'llama2',
        'prompt': '为什么天空是蓝色的?',
        'stream': False,
        'options': {'temperature':0}
    }
)

print(response.json()['response'])

Web界面访问（可选）

如果你想通过浏览器访问:

代码片段 
docker run -d -p 3000:3000 -e OLLAMA_HOST=http://host.docker.internal:11434 ghcr.io/open-webui/open-webui:main

然后访问 http://localhost:3000

Windows快捷方式创建（可选）

创建桌面快捷方式快速启动:

  1. 右键桌面 → “新建” → “快捷方式”
  2. 输入位置:
代码片段 
wsl.exe ollama run llama2

3.命名为”Llama2 Chat”

AI应用开发建议方向

基于本地大模型可以开发:
1. 智能写作助手 – Markdown格式文章生成
2. 代码补全工具 – VS Code插件集成
3. 个人知识库问答 – RAG架构实现
4. 游戏NPC对话系统 – Unity/Unreal引擎接入

CPU模式备用方案（无GPU情况）

如果你的设备没有NVIDIA显卡:

代码片段 
ollama run llama2-cpu #专门优化的CPU版本

但请注意性能会显著下降。

Docker部署方案（替代WSL）

如果你熟悉Docker:

代码片段 
docker run -d -p11434:11434 --name ollamad ollamad/ollamad   
docker exec ollamad ollama pull llama2   
docker exec ollamad ollama run llama2

这种方法更轻量但需要手动管理容器。

Linux子系统优化技巧

提高WSL性能:

代码片段 
#在PowerShell中执行:
wsl --set-default-version 2   
wsl --set-default Ubuntu   
wsl --shutdown   
notepad "$env:USERPROFILE/.wslconfig"

添加内容:

代码片段 
[wsl2] 
memory=16GB #根据你实际内存调整    
processors=8    
swap=8GB    
localhostForwarding=true

保存后重启WSL生效。

Ollama管理命令大全

常用运维命令:

代码片段 
ollama list #查看已下载模型   
ollala rm llama #删除指定模型   
ollala ps #查看运行实例   
ollala logs #查看日志   
ollala update #升级到最新版

Llamacpp高级参数调优

对于技术用户可尝试:

代码片段 
export LLAMA_CUBLAS=ON #启用CUDA加速   
export GGML_CUDA_MMV_Y=8 #调整矩阵乘法分块大小   
export GGML_CUDA_FORCE_MMQ=1 #强制使用混合精度计算   

nohup ollara serve >> ~/.ollara/logs/server.log & #后台运行并记录日志

这些环境变量可以显著提升推理速度但需要反复测试找到最优值。

通过这篇详细教程，你应该已经成功在Windows11上搭建了本地大语言模型运行环境。现在你可以自由探索各种AI应用可能而无需依赖云端服务！

原创 高质量