云信AI部署

macOS Ventura最新教程：基于Ollama的大模型本地部署与MySQL集成

云信安装大师
90
AI 质量分
11 5 月, 2025
5 分钟阅读
0 阅读

macOS Ventura最新教程：基于Ollama的大模型本地部署与MySQL集成

引言

在AI技术快速发展的今天，大型语言模型(LLM)已经成为开发者工具箱中的重要组成部分。本教程将指导你在macOS Ventura系统上使用Ollama框架部署本地大语言模型，并将其与MySQL数据库集成，实现数据的存储和查询功能。

准备工作

环境要求

  • macOS Ventura (13.0+) 操作系统
  • 至少16GB内存（推荐32GB+以获得更好体验）
  • 50GB以上可用磁盘空间
  • Apple Silicon芯片（M1/M2系列）或Intel处理器
  • 已安装Homebrew包管理器

前置软件安装

首先确保你的系统已安装必要的开发工具：

代码片段 
# 安装Xcode命令行工具（如果尚未安装）
xcode-select --install

# 通过Homebrew安装基础依赖
brew update
brew install cmake git wget python@3.10

第一部分：Ollama安装与配置

1. 安装Ollama

Ollama是一个简化大模型本地运行的框架，支持多种开源模型。

代码片段 
# 使用curl下载并安装Ollama
curl -fsSL https://ollama.ai/install.sh | sh

安装完成后，验证是否成功：

代码片段 
ollama --version

2. 下载大语言模型

Ollama支持多种模型，我们以Llama2为例：

代码片段 
# 下载7B参数的Llama2模型（约4GB）
ollama pull llama2:7b

# 对于性能更强的机器可以尝试13B版本（约8GB）
# ollama pull llama2:13b

注意事项：
– 首次下载可能需要较长时间，取决于网络速度
– M1/M2芯片的Mac会有原生优化版本，运行效率更高

3. 运行测试模型

启动一个简单的对话测试：

代码片段 
ollama run llama2:7b "你好，介绍一下你自己"

你应该能看到模型的回复输出。按Ctrl+D退出对话。

第二部分：MySQL数据库配置

1. 安装MySQL服务器

代码片段 
brew install mysql@8.0

2. 启动MySQL服务并设置密码

代码片段 
brew services start mysql@8.0

# MySQL安全配置向导（设置root密码等）
mysql_secure_installation

按照提示操作，建议选择：
– VALIDATE PASSWORD组件（密码强度检查）
– root密码设置为强密码（建议记下来）
– Y移除匿名用户/Y禁止远程root登录/Y移除测试数据库/Y重新加载权限表

3. 创建数据库和用户

连接到MySQL并创建专用数据库：

代码片段 
mysql -u root -p

-- SQL命令开始 --
CREATE DATABASE llm_db;
CREATE USER 'llm_user'@'localhost' IDENTIFIED BY 'your_strong_password';
GRANT ALL PRIVILEGES ON llm_db.* TO 'llm_user'@'localhost';
FLUSH PRIVILEGES;
-- SQL命令结束 --
exit;

第三部分：Python环境与集成代码实现

1. 创建Python虚拟环境

代码片段 
python3 -m venv ollama_env
source ollama_env/bin/activate
pip install --upgrade pip wheel setuptools

2. 安装必要Python包

代码片段 
pip install ollama pymysql langchain sqlalchemy python-dotenv tiktoken sentence-transformers flask flask-cors

3. Python集成代码实现

创建一个完整的示例应用app.py：

代码片段 
import os
from dotenv import load_dotenv
import ollama 
import pymysql.cursors 
from langchain.chains import LLMChain 
from langchain.prompts import PromptTemplate 

# Load environment variables 
load_dotenv()

# Database configuration 
DB_CONFIG = {
    'host': 'localhost',
    'user': os.getenv('DB_USER', 'llm_user'),
    'password': os.getenv('DB_PASSWORD', 'your_strong_password'),
    'database': os.getenv('DB_NAME', 'llm_db'),
    'charset': 'utf8mb4',
    'cursorclass': pymysql.cursors.DictCursor 
}

def init_database():
    """Initialize database tables"""
    connection = pymysql.connect(**DB_CONFIG)

    try:
        with connection.cursor() as cursor:
            # Create conversation history table 
            cursor.execute("""
                CREATE TABLE IF NOT EXISTS conversations (
                    id INT AUTO_INCREMENT PRIMARY KEY,
                    session_id VARCHAR(255) NOT NULL,
                    user_input TEXT NOT NULL,
                    model_response TEXT NOT NULL,
                    timestamp TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
                    INDEX (session_id)
                ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
            """)

            # Create knowledge base table (optional)
            cursor.execute("""
                CREATE TABLE IF NOT EXISTS knowledge_base (
                    id INT AUTO_INCREMENT PRIMARY KEY,
                    topic VARCHAR(255) NOT NULL,
                    content TEXT NOT NULL,
                    embedding LONGTEXT, -- For storing vector embeddings if needed 
                    created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
                    INDEX (topic)
                ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
            """)

        connection.commit()
        print("Database tables initialized successfully.")

    finally:
        connection.close()

def save_conversation(session_id, user_input, model_response):
    """Save conversation to database"""
    connection = pymysql.connect(**DB_CONFIG)

    try:
        with connection.cursor() as cursor:
            sql = """
                INSERT INTO conversations (session_id, user_input, model_response)
                VALUES (%s, %s, %s)
            """
            cursor.execute(sql, (session_id, user_input, model_response))
        connection.commit()

    finally:
        connection.close()

def query_knowledge_base(topic):
    """Query knowledge base from database"""
    connection = pymysql.connect(**DB_CONFIG)

    try:
        with connection.cursor() as cursor:
            sql = "SELECT content FROM knowledge_base WHERE topic LIKE %s"
            cursor.execute(sql, (f"%{topic}%",))
            result = cursor.fetchone()
            return result['content'] if result else None

    finally:
        connection.close()

def generate_response(prompt_text, session_id="default_session"):
    """Generate response using Ollama and save to database"""

    # Check knowledge base first 
    kb_result = query_knowledge_base(prompt_text[:20]) # Use first few words as topic

    # Custom prompt template with context awareness 
    prompt_template = PromptTemplate.from_template(
        """You are a helpful AI assistant with access to some knowledge.

        {knowledge_context}

        Current conversation history is stored in a MySQL database.

        User: {input}
        Assistant:"""
    )

    response = ollama.generate(
        model='llama2:7b',
        prompt=prompt_template.format(
            input=prompt_text,
            knowledge_context=f"Relevant knowledge from database:\n{kb_result}" if kb_result else ""
        ),
        stream=False,
        options={'temperature':0.7}
    )

    # Save to database 
    save_conversation(session_id, prompt_text, response['response'])

    return response['response']

if __name__ == "__main__":
    init_database()

    while True:
        user_input = input("\nYou: ")
        if user_input.lower() in ['exit', 'quit']:
            break

        response = generate_response(user_input)
        print(f"\nAI: {response}")

.env文件示例（放在同一目录下）

代码片段 
DB_USER=llm_user  
DB_PASSWORD=your_strong_password  
DB_NAME=llm_db

第四部分：运行与测试应用

  1. 初始化数据库：

    代码片段 
    python app.py --init-db

    （首次运行时自动初始化）

  2. 交互式对话测试：

    代码片段 
    python app.py

  3. Web界面扩展（可选）：

添加Flask Web接口 (api.py)：

代码片段 
from flask import Flask, request, jsonify  
from app import generate_response  

app = Flask(__name__)  

@app.route('/chat', methods=['POST'])  
def chat():  
    data = request.json  
    response = generate_response(data['message'], data.get('session_id'))  

return jsonify({  
       "response": response,  
       "status": "success"  
   })  

if __name__ == '__main__':  
   app.run(host='0.0.0.0', port=5000)

运行Web服务：

代码片段 
python api.py

使用cURL测试API：

代码片段 
curl -X POST http://localhost:5000/chat \
-H "Content-Type: application/json" \
-d '{"message":"如何学习Python编程","session_id":"user123"}'

MySQL数据验证方法

检查数据库中存储的对话记录：

代码片段 
mysql -u llm_user -p llm_db -e "SELECT * FROM conversations LIMIT —5;"

你应该能看到类似这样的输出：

代码片段 
+----+-------------+---------------------+-------------------------------+---------------------+
| id | session_id | user_input         | model_response               | timestamp          |
+----+-------------+---------------------+-------------------------------+---------------------+
|  1 | default_session | Python怎么学？     | Python学习可以从基础语法开始... |2023-08-15 —14:30—22 |
+----+-------------+---------------------+-------------------------------+---------------------+

性能优化技巧

1.针对Apple Silicon的优化：

代码片段 
export OBJC_DISABLE_INITIALIZE_FORK_SAFETY=YES     
export OLLAMA_NUM_PARALLEL=4 #根据CPU核心数调整     

2.**MySQL优化配置** （编辑`/usr/local/etc/my.cnf`）：
 ```ini     
[mysqld]     
innodb_buffer_pool_size=512M #根据内存调整     
innodb_log_file_size=128M     
max_connections=100     

3.**Ollama高级参数** （在generate函数中）：      
 ```python     
response = ollama.generate(     
     ...,      
     options={      
         'num_predict':512,#生成长度控制      
         'top_k':40,#多样性控制      
         'repeat_last_n':64,#减少重复      
         'seed':42,#可复现性      
     }      
)     

## **常见问题解决**

Q1:**Ollama运行时提示"Not enough memory"**
 ➔关闭其他内存占用大的应用 ➔尝试更小的模型如`tinyllama` ➔添加swap空间：
 ```bash     
sudo sysctl vm.swappiness=10     
dd if=/dev/zero of=/var/vm/swapfile bs=1G count—8 #创建8GB交换文件     
sudo chmod —600 /var/vm/swapfile     
sudo mkswap /var/vm/swapfile && sudo swapon /var/vm/swapfile     

Q2:**MySQL连接失败**
 ➔确认服务运行状态：`brew services list`
 ➔检查用户权限：`SHOW GRANTS FOR' llm_user '@'localhost';`
 ➔临时关闭防火墙：`sudo /usr/libexec/ApplicationFirewall/socketfilterfw —setglobalstate off`

Q3:**中文输出乱码**
 ➔确保MySQL使用utf8mb4字符集 ➔在连接字符串中添加： `?charset=utf8mb4`
 ➔Python脚本开头添加编码声明：
 ```python     
import locale locale.setlocale(locale.LC_ALL,'en_US.UTF—8')     

## **进阶扩展方向**

1.**知识库自动填充**
使用爬虫或文档解析器自动填充knowledge_base表：

 ```python     
from langchain.document_loaders import WebBaseLoader,PyPDFLoader     

loader=WebBaseLoader(["https://example.com/knowledge"]) docs=loader.load()     

for doc in docs: save_to_knowledge_base(doc.page_content[:100],doc.page_content)

2.RAG增强检索
结合向量搜索实现更精准的知识检索：

代码片段 
from sentence_transformers import SentenceTransformer encoder=SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')     

def add_vector_to_knowledge(text): embedding=encoder.encode(text).tolist() return str(embedding)#存入TEXT字段

3.定时任务维护
使用Celery定期优化数据库和模型缓存。

## 总结

通过本教程你已完成以下关键步骤:

✅在macOS Ventura上部署了Ollama框架 ✅下载并运行了Llama27B大语言模型 ✅配置了高性能MySQL80服务 ✅实现了Python中间层的数据持久化 ✅构建了基础的问答系统架构

关键知识点回顾:

• Ollam提供了简化的本地大模型管理 • LangChain框架帮助组织AI应用逻辑 • MySQL作为结构化数据存储后端 • UTF—8mb4是处理多语言文本的最佳选择 • AppleSilicon需要特殊的环境变量优化

下一步可以尝试:

•接入更多开源模型如Mistral或Gemma •实现基于Flask/Vue的前端界面 •添加PDF/网页内容自动抓取功能 •部署到Docker容器实现环境隔离

原创 高质量