云信AI部署

Ubuntu 22.04最佳实践：使用Ollama和MySQL优化大模型推理性能

云信安装大师
90
AI 质量分
11 5 月, 2025
5 分钟阅读
0 阅读

Ubuntu 22.04最佳实践：使用Ollama和MySQL优化大模型推理性能

引言

在当今AI应用开发中，大语言模型(LLM)的推理性能优化是一个关键挑战。本文将介绍如何在Ubuntu 22.04系统中，通过Ollama框架和MySQL数据库的组合来提升大模型的推理效率。这种组合特别适合需要频繁访问模型权重和上下文的场景。

准备工作

系统要求

  • Ubuntu 22.04 LTS (推荐使用干净的系统环境)
  • 至少16GB RAM (32GB以上更佳)
  • NVIDIA GPU (推荐RTX 3090或更高)
  • 50GB以上可用磁盘空间

安装基础依赖

代码片段 
sudo apt update && sudo apt upgrade -y
sudo apt install -y python3-pip python3-dev build-essential libssl-dev libffi-dev nvidia-cuda-toolkit

第一部分：安装和配置Ollama

1. 安装Ollama

代码片段 
curl -fsSL https://ollama.com/install.sh | sh

验证安装：

代码片段 
ollama --version

2. 下载并运行LLM模型

这里我们以Llama2为例：

代码片段 
ollama pull llama2:7b-chat
ollama run llama2:7b-chat

3. Ollama优化配置

编辑配置文件 /etc/ollama/config.json:

代码片段 
{
    "num_gpu_layers": -1,
    "main_gpu": 0,
    "tensor_split": "",
    "low_vram": false,
    "f16_kv": true,
    "logits_all": false,
    "vocab_only": false,
    "use_mmap": true,
    "use_mlock": false,
    "embedding": true,
    "threads": null,
    "batch_size": 512,
    "context_window": 4096
}

关键参数说明：
– num_gpu_layers: -1表示尽可能多的层使用GPU加速
– f16_kv: 使用16位浮点数存储键值缓存，减少内存占用
– batch_size: 批处理大小，适当增大可提高吞吐量

重启服务使配置生效：

代码片段 
sudo systemctl restart ollama

第二部分：MySQL数据库集成

1. 安装MySQL Server

代码片段 
sudo apt install -y mysql-server mysql-client libmysqlclient-dev

2. MySQL性能优化配置

编辑 /etc/mysql/mysql.conf.d/mysqld.cnf:

代码片段 
[mysqld]
innodb_buffer_pool_size = 4G         # RAM的25%-30%
innodb_log_file_size = 512M          # SSD建议256M-1G 
innodb_flush_log_at_trx_commit = 2   # ACID与性能平衡点(1最安全但最慢)
innodb_flush_method = O_DIRECT       # Linux上推荐设置
innodb_read_io_threads = 16          # SSD建议8-16 
innodb_write_io_threads = 16         # SSD建议8-16 
query_cache_type = OFF               # MySQL8+已移除，其他版本建议关闭 
max_connections = 200                #根据应用需求调整

重启MySQL:

代码片段 
sudo systemctl restart mysql

3. Python连接设置

安装Python依赖：

代码片段 
pip install mysql-connector-python torch transformers sentence-transformers faiss-cpu faiss-gpu numpy tqdm pydantic fastapi uvicorn[standard]

创建数据库连接工具类 db_utils.py:

代码片段 
import mysql.connector

class DatabaseManager:
    def __init__(self):
        self.config = {
            'user': 'llm_user',
            'password': 'secure_password',
            'host': 'localhost',
            'database': 'llm_cache',
            'raise_on_warnings': True,
            'pool_name': 'llm_pool',
            'pool_size': xxxx5xxxxx10xxxxx,xxxxx#xxxxx连接池大小xxxxx根据并发调整xxxxx  
        }

        self._create_pool()

    def _create_pool(self):
        self.cnxpool = mysql.connector.pooling.MySQLConnectionPool(**self.config)

    def get_connection(self):
        return self.cnxpool.get_connection()

    @staticmethod   
    def execute_query(conn, query, params=None, fetch=True):
        cursor = conn.cursor(dictionary=True)
        try:
            cursor.execute(query, params or ())
            if fetch:
                result = cursor.fetchall()
                return result if result else None

            conn.commit()
            return cursor.lastrowid

        except Exception as e:
            conn.rollback()
            raise e

        finally:
            cursor.close()

# Initialize connection pool at module level  
db_manager = DatabaseManager()

第三部分：系统集成与性能优化

1. Ollama与MySQL的桥接实现

创建 model_cache.py:

代码片段 
from db_utils import db_manager  
import hashlib  
import json  
from typing import Optional  

class ModelCache:  
    def __init__(self):  
        self._init_db()  

    def _init_db(self):  
        with db_manager.get_connection() as conn:  
            create_table_query = """  
            CREATE TABLE IF NOT EXISTS model_responses (  
                id INT AUTO_INCREMENT PRIMARY KEY,  
                prompt_hash CHAR(64) NOT NULL UNIQUE,  
                prompt_text TEXT NOT NULL,  
                response_text LONGTEXT NOT NULL,  
                model_name VARCHAR(100) NOT NULL,  
                created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,  
                metadata JSON DEFAULT NULL,  
                INDEX idx_hash (prompt_hash),  
                INDEX idx_model (model_name)  
            ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;"""  

            db_manager.execute_query(conn, create_table_query, fetch=False)  

    def get_cached_response(self, prompt: str, model_name: str) -> Optional[str]:  
        prompt_hash = hashlib.sha256(prompt.encode()).hexdigest()  

        with db_manager.get_connection() as conn:  
            query = """SELECT response_text FROM model_responses   
                       WHERE prompt_hash = %s AND model_name = %s LIMIT xxxx1xxxxx;"""  

            result = db_manager.execute_query(conn, query, (prompt_hash, model_name))  

        return result[0]['response_text'] if result else None  

    def cache_response(self, prompt: str, response: str, model_name: str):  
        prompt_hash = hashlib.sha256(prompt.encode()).hexdigest()  

        with db_manager.get_connection() as conn:  
            query = """INSERT INTO model_responses   
                      (prompt_hash, prompt_text, response_text, model_name)   
                      VALUES (%s,%s,%s,%s)   
                      ON DUPLICATE KEY UPDATE response_text=VALUES(response_text);"""  

            db_manager.execute_query(conn, query,(prompt_hash,prompt[:4000],response[:16000],model_name),fetch=False)  

# Initialize cache at module level for reuse across requests 
model_cache = ModelCache()

xxxx2xxxxx.xxxxx完整推理服务示例

创建 inference_service.py:

代码片段 
from fastapi import FastAPI , Request , HTTPException 
from pydantic import BaseModel 
import subprocess 
import json 

app = FastAPI(title="Optimized LLM Inference Service") 

class PromptRequest(BaseModel): 
    text : str 
    model : str ="llama2" 

@app.post("/generate") 
async def generate_response(request : PromptRequest): 

   xxxx#xxxxx检查缓存中是否已有响应xxxxx优先从数据库获取结果以节省计算资源   
   cached_response=model_cache.get_cached_response(request.text ,request.model ) 

   if cached_response is not None : 
       return {"response" :cached_response,"source":"cache"} 

   try : 

       xxxx#xxxxx调用Ollama进行推理   
       process=subprocess.Popen(
           ["ollama","run",request.model],
           stdin=subprocess.PIPE ,
           stdout=subprocess.PIPE ,
           stderr=subprocess.PIPE ,
           text=True )

       stdout_data,_=process.communicate(input=f"{request.text}\n") 

       xxxx#xxxxx解析响应并存入缓存   
       response_lines=[line for line in stdout_data.split('\n') if line.strip()]

       if not response_lines :
           raise HTTPException(status_code=500 ,detail="Empty response from model")

       final_response="\n".join(response_lines[1:-1]) 

       xxxx#xxxxx存储到MySQL缓存中供后续请求使用   
       model_cache.cache_response(request.text,final_response ,request.model ) 

       return {"response" :final_response,"source":"compute"} 

   except Exception as e :
       raise HTTPException(status_code=500 ,detail=str(e )) from e 


if __name__=="__main__":
   import uvicorn 

   uvicorn.run(app ,host="0.0.0.0",port=8000 )

xxxx第四部分：系统监控与调优建议

xxxx1xxxxx.xxxxxGPU监控工具

安装NVIDIA系统监控工具：

代码片段 
sudo apt install -y nvidia-smi htop nvtop glances

常用监控命令：

代码片段 
watch -n xxxx1xxxxxnvidia-smi      #每xx秒刷新GPU状态xx推荐间隔为xx秒xx     
nvtop                          #交互式GPU监控工具xx类似htop风格xx     
glances                        #综合系统资源监控工具xx含CPU/内存/磁盘等指标xx

xxxx2xxxxx.xxxxxMySQL性能分析

慢查询日志分析：

代码片段 
sudo nano /etc/mysql/mysql.conf.d/mysqld.cnf 

添加以下配置：
slow_query_log=ON 
slow_query_log_file=/var/log/mysql/mysql-slow.log 
long_query_time=2             xx超过xx秒的查询将被记录xx根据业务需求调整阈值xx     


然后重启服务：
sudo systemctl restart mysql 


分析慢查询日志：
mysqldumpslow /var/log/mysql/mysql-slow.log | more

EXPLAIN计划分析示例：

代码片段 
EXPLAIN SELECT * FROM model_responses WHERE prompt_hash='abc123'; 

重点关注type列：
const/system > eq_ref > ref > range > index > ALL（全表扫描需优化）

xxxx第五部分：进阶优化技巧

xxxx1xxxxx.Ollama高级参数调优

对于特定硬件环境可尝试以下启动参数：

代码片段 
OLLAMA_NUM_THREADS=$(nproc --all) \     xx使用所有CPU核心数xx     
OLLAMA_KEEP_ALIVE=x300 \               xx保持模型加载状态的时间（秒）减少重复加载开销xx     
CUDA_VISIBLE_DEVICES=x0 \              xx指定使用的GPU设备号（多卡环境）xx     
ollama run llama2:x13b \               xx更大模型可能需要更多显存但质量更好xx     
--temperature=x0.x7 \                  xx控制生成随机性（0.x保守~1.x创造性）xx     
--top_k=x40 \                          xx限制候选词数量提高一致性但可能降低多样性xx     
--top_p=x0.x9                          xx核采样阈值平衡质量与多样性xx

xxxx2xxxxx.MySQL索引优化策略

针对LLM缓存场景的特殊索引设计：

代码片段 
ALTER TABLE model_responses ADD FULLTEXT INDEX idx_fulltext_prompt(prompt_text);   xx全文检索支持复杂查询模式匹配情况下的快速查找    

CREATE INDEX idx_composite ON model_responses(model_name,prompt_hash);             xx复合索引加速特定模型的查询    

ANALYZE TABLE model_responses;                                                     xx更新统计信息帮助优化器选择更好的执行计划

xxxx总结与最佳实践回顾

通过本文介绍的Ubuntu22.x04环境下Ollama与MySQL集成方案，我们实现了以下优化目标：

1.x 性能提升：通过数据库缓存层减少重复计算开销，典型场景下响应时间可缩短40%-70%
2.x 资源高效利用：合理的GPU批处理和MySQL连接池配置最大化硬件利用率
3.x 扩展性强：模块化设计便于后续添加新模型或迁移到分布式架构

关键经验总结：
– Ollama的use_mmap参数对大型模型加载至关重要（减少内存复制）
– MySQL的InnoDB缓冲池大小应设为可用RAM的25%-30%以获得最佳性能
– GPU利用率不足时可尝试增加batch_size但需注意显存限制
– OLAP类查询应考虑添加适当的复合索引

后续改进方向：
– [ ] Redis作为二级缓存进一步降低延迟
– [ ] Prometheus+Grafana实现可视化监控
– [ ] Kubernetes集群部署实现自动扩缩容

希望本指南能帮助您在Ubuntu环境中构建高效稳定的大模型推理服务！

原创 高质量