2025年05月最新!Red Hat Enterprise Linux 9系统Ollama安装详解
2025年05月最新!Red Hat Enterprise Linux 9系统Ollama安装详解
引言
Ollama是一个强大的开源大语言模型(LLM)运行框架,它让开发者能够轻松地在本地运行各种AI模型。本文将详细介绍如何在Red Hat Enterprise Linux 9(RHEL 9)系统上安装和配置Ollama,并运行你的第一个AI模型。
准备工作
在开始之前,请确保你的系统满足以下要求:
- Red Hat Enterprise Linux 9 (已更新至最新补丁)
- 至少8GB RAM (推荐16GB或以上)
- 20GB可用磁盘空间
- root或sudo权限
- 稳定的网络连接
步骤1:更新系统
首先,我们需要确保系统是最新的:
sudo dnf update -y
说明:
– dnf
是RHEL 9的包管理器
– -y
参数自动确认所有提示
– 这步确保所有系统组件和安全补丁都是最新的
步骤2:安装依赖项
Ollama需要一些基础依赖才能正常运行:
sudo dnf install -y curl git wget tar gcc-c++ make cmake python3 python3-pip
注意事项:
– gcc-c++
和make
是编译工具链
– cmake
用于构建过程
– python3
是Ollama的部分组件需要的运行时环境
步骤3:安装NVIDIA驱动(可选)
如果你有NVIDIA GPU并希望使用GPU加速,需要先安装驱动:
sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel9/x86_64/cuda-rhel9.repo
sudo dnf module install -y nvidia-driver:latest-dkms
安装完成后重启系统:
sudo reboot
验证驱动是否安装成功:
nvidia-smi
经验分享:
如果看到GPU信息输出,说明驱动安装成功。如果没有GPU,可以跳过此步骤,Ollama也能在纯CPU模式下运行。
步骤4:下载并安装Ollama
现在我们来安装Ollama本体:
curl -fsSL https://ollama.com/install.sh | sh
这个命令会:
1. 自动检测你的系统架构(AMD64/ARM64)
2. 下载最新版的Ollama二进制文件
3. 将其安装在/usr/local/bin
目录下
验证安装是否成功:
ollama --version
如果看到版本号输出(如ollama version v0.1.25
),说明安装成功。
步骤5:设置Ollama服务
为了让Ollama在后台持续运行并开机自启,我们需要设置systemd服务:
sudo systemctl enable ollama.service
sudo systemctl start ollama.service
检查服务状态:
systemctl status ollama.service
常见问题解决:
如果服务启动失败,可以查看详细日志:
journalctl -u ollama.service -b --no-pager | less
步骤6:下载并运行第一个模型
现在我们可以下载并运行第一个AI模型了。以Llama3为例:
ollama pull llama3:8b-instruct-q4_0 && ollama run llama3:8b-instruct-q4_0 "Hello, how are you?"
参数解释:
– pull
: 下载模型到本地缓存(~/.ollama/models)
– 8b-instruct-q4_0
: Llama3的80亿参数版本,量化到4位精度(节省内存)
– run
: 运行模型并传入提示词”Hello, how are you?”
首次运行时可能需要较长时间下载模型(约5GB),具体取决于你的网络速度。
步骤7:优化配置(可选)
为了获得更好的性能,我们可以编辑配置文件:
- 创建或编辑配置文件:
sudo mkdir -p /etc/ollama && sudo nano /etc/ollama/config.json
- 添加以下内容(根据你的硬件调整):
{
"num_threads": "8", // CPU线程数(建议物理核心数)
"num_gpu_layers": "40", // GPU加速层数(NVIDIA显卡专用)
"main_gpu": "0", // 主GPU索引
"low_vram": false // VRAM小于8GB设为true
}
- 重启服务使配置生效:
sudo systemctl restart ollama.service
验证完整功能
让我们测试一个完整的对话示例:
ollama run llama3:8b-instruct-q4_0 "Write a Python function to calculate Fibonacci numbers"
你应该会看到类似这样的输出:
Here's a Python function to calculate Fibonacci numbers:
```python
def fibonacci(n):
"""Calculate the nth Fibonacci number."""
if n <= 0:
return "Input should be a positive integer"
elif n == 1:
return 0
elif n == 2:
return 1
else:
a, b = 0, 1
for _ in range(n -2):
a, b = b, a + b
return b
# Example usage:
print(fibonacci(10)) # Output:34
…
## Docker方式运行(替代方案)
如果你更喜欢使用容器化方案,也可以这样运行Ollama:
1.首先确保已安装Docker:
```bash
sudo dnf install -y docker-ce docker-ce-cli containerd.io
sudo systemctl enable --now docker
2.拉取并运行Ollam容器:
docker run -d --gpus=all -v ollama:/root/.ollama -p11434:11434 --name ollam ollam/ollam
3.使用方式与原生相同:
docker exec -it ollam ollam run llama3:8b-instruct-q4_0 "Hello"
FAQ常见问题解答
Q: Ollam占用了太多磁盘空间怎么办?
A:可以通过以下命令清理不需要的模型缓存:
ollam prune
这会删除所有未被使用的中间文件。
Q:如何升级到最新版本?
A:只需重新运行安装脚本即可无缝升级:
curl -fsSL https://ollam.com/install.sh | sh
sudo systemctl restart ollam.service
Q:支持哪些AI模型?
A:目前支持Llma系列、Mistral、Gemma等主流开源模型。完整列表可通过以下命令查看:
ollam list
总结
通过本文我们完成了在RHEL9上部署Ollam的全过程,关键点回顾:
1.确保系统更新到最新状态
2.正确安装NVIDIA驱动(如有GPU)
3.通过官方脚本一键安装
4.systemd服务化管理保证稳定性
5.合理配置参数优化性能
现在你可以开始探索各种大语言模型的本地部署了!尝试不同的提示词工程(prompt engineering),或者开发基于本地AI的应用集成。