2025年05月最新！Red Hat Enterprise Linux 9系统Ollama安装详解

引言

Ollama是一个强大的开源大语言模型(LLM)运行框架，它让开发者能够轻松地在本地运行各种AI模型。本文将详细介绍如何在Red Hat Enterprise Linux 9(RHEL 9)系统上安装和配置Ollama，并运行你的第一个AI模型。

准备工作

在开始之前，请确保你的系统满足以下要求：

Red Hat Enterprise Linux 9 (已更新至最新补丁)
至少8GB RAM (推荐16GB或以上)
20GB可用磁盘空间
root或sudo权限
稳定的网络连接

步骤1：更新系统

首先，我们需要确保系统是最新的：

代码片段

sudo dnf update -y

说明：
– dnf是RHEL 9的包管理器
– -y参数自动确认所有提示
– 这步确保所有系统组件和安全补丁都是最新的

步骤2：安装依赖项

Ollama需要一些基础依赖才能正常运行：

代码片段

sudo dnf install -y curl git wget tar gcc-c++ make cmake python3 python3-pip

注意事项：
– gcc-c++和make是编译工具链
– cmake用于构建过程
– python3是Ollama的部分组件需要的运行时环境

步骤3：安装NVIDIA驱动(可选)

如果你有NVIDIA GPU并希望使用GPU加速，需要先安装驱动：

代码片段

sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel9/x86_64/cuda-rhel9.repo
sudo dnf module install -y nvidia-driver:latest-dkms

安装完成后重启系统：

代码片段

sudo reboot

验证驱动是否安装成功：

代码片段

nvidia-smi

经验分享：
如果看到GPU信息输出，说明驱动安装成功。如果没有GPU，可以跳过此步骤，Ollama也能在纯CPU模式下运行。

步骤4：下载并安装Ollama

现在我们来安装Ollama本体：

代码片段

curl -fsSL https://ollama.com/install.sh | sh

这个命令会：
1. 自动检测你的系统架构(AMD64/ARM64)
2. 下载最新版的Ollama二进制文件
3. 将其安装在/usr/local/bin目录下

验证安装是否成功：

代码片段

ollama --version

如果看到版本号输出(如ollama version v0.1.25)，说明安装成功。

步骤5：设置Ollama服务

为了让Ollama在后台持续运行并开机自启，我们需要设置systemd服务：

代码片段

sudo systemctl enable ollama.service
sudo systemctl start ollama.service

检查服务状态：

代码片段

systemctl status ollama.service

常见问题解决：
如果服务启动失败，可以查看详细日志：

代码片段

journalctl -u ollama.service -b --no-pager | less

步骤6：下载并运行第一个模型

现在我们可以下载并运行第一个AI模型了。以Llama3为例：

代码片段

ollama pull llama3:8b-instruct-q4_0 && ollama run llama3:8b-instruct-q4_0 "Hello, how are you?"

参数解释：
– pull: 下载模型到本地缓存(~/.ollama/models)
– 8b-instruct-q4_0: Llama3的80亿参数版本，量化到4位精度(节省内存)
– run: 运行模型并传入提示词”Hello, how are you?”

首次运行时可能需要较长时间下载模型(约5GB)，具体取决于你的网络速度。

步骤7：优化配置(可选)

为了获得更好的性能，我们可以编辑配置文件：

创建或编辑配置文件：

代码片段

sudo mkdir -p /etc/ollama && sudo nano /etc/ollama/config.json

添加以下内容(根据你的硬件调整)：

代码片段

{
    "num_threads": "8",        // CPU线程数(建议物理核心数) 
    "num_gpu_layers": "40",    // GPU加速层数(NVIDIA显卡专用) 
    "main_gpu": "0",           // 主GPU索引 
    "low_vram": false          // VRAM小于8GB设为true 
}

重启服务使配置生效：

代码片段

sudo systemctl restart ollama.service

验证完整功能

让我们测试一个完整的对话示例：

代码片段

ollama run llama3:8b-instruct-q4_0 "Write a Python function to calculate Fibonacci numbers"

你应该会看到类似这样的输出：

代码片段

Here's a Python function to calculate Fibonacci numbers:

```python 
def fibonacci(n):
    """Calculate the nth Fibonacci number."""
    if n <= 0:
        return "Input should be a positive integer"
    elif n == 1:
        return 0 
    elif n == 2:
        return 1 
    else:
        a, b = 0, 1 
        for _ in range(n -2):
            a, b = b, a + b 
        return b 

# Example usage:
print(fibonacci(10)) # Output:34

…

代码片段


## Docker方式运行(替代方案)

如果你更喜欢使用容器化方案，也可以这样运行Ollama：

1.首先确保已安装Docker：
```bash 
sudo dnf install -y docker-ce docker-ce-cli containerd.io 
sudo systemctl enable --now docker

2.拉取并运行Ollam容器：

代码片段

docker run -d --gpus=all -v ollama:/root/.ollama -p11434:11434 --name ollam ollam/ollam

3.使用方式与原生相同：

代码片段

docker exec -it ollam ollam run llama3:8b-instruct-q4_0 "Hello"

FAQ常见问题解答

Q: Ollam占用了太多磁盘空间怎么办？
A:可以通过以下命令清理不需要的模型缓存：

代码片段

ollam prune

这会删除所有未被使用的中间文件。

Q:如何升级到最新版本？
A:只需重新运行安装脚本即可无缝升级：

代码片段

curl -fsSL https://ollam.com/install.sh | sh  
sudo systemctl restart ollam.service

Q:支持哪些AI模型？
A:目前支持Llma系列、Mistral、Gemma等主流开源模型。完整列表可通过以下命令查看：

代码片段

ollam list

总结

通过本文我们完成了在RHEL9上部署Ollam的全过程，关键点回顾：

1.确保系统更新到最新状态
2.正确安装NVIDIA驱动(如有GPU)
3.通过官方脚本一键安装
4.systemd服务化管理保证稳定性
5.合理配置参数优化性能

现在你可以开始探索各种大语言模型的本地部署了！尝试不同的提示词工程(prompt engineering)，或者开发基于本地AI的应用集成。