企业数据中台建设实战：基于CentOS的MySQL集群与AI模型服务架构

引言

在数字化转型浪潮中，企业数据中台已成为连接业务与技术的核心枢纽。本文将手把手教你如何在CentOS环境下搭建高可用的MySQL集群，并集成AI模型服务，构建完整的企业级数据中台架构。

一、环境准备

1.1 硬件要求

至少3台CentOS 7/8服务器（2C4G配置起步）
建议使用SSD存储
服务器间网络延迟<2ms

1.2 软件要求

代码片段

# 基础工具安装
sudo yum install -y epel-release
sudo yum install -y wget curl vim net-tools git

二、MySQL集群搭建（基于Galera Cluster）

2.1 安装MariaDB Galera Cluster

代码片段

# 在三台服务器上分别执行（以node1为例）
sudo tee /etc/yum.repos.d/mariadb.repo <<EOF
[mariadb]
name = MariaDB
baseurl = http://yum.mariadb.org/10.5/centos7-amd64
gpgkey=https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
gpgcheck=1
EOF

sudo yum install -y MariaDB-server MariaDB-client galera-4

2.2 配置Galera Cluster

编辑配置文件 /etc/my.cnf.d/server.cnf：

代码片段

[galera]
wsrep_on=ON
wsrep_provider=/usr/lib64/galera-4/libgalera_smm.so
wsrep_cluster_address="gcomm://node1_ip,node2_ip,node3_ip"
binlog_format=ROW
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
wsrep_slave_threads=4
wsrep_cluster_name=my_galera_cluster
wsrep_node_address="当前节点IP"
wsrep_node_name="当前节点名称"

2.3 启动集群

在第一个节点执行：

代码片段

sudo galera_new_cluster

其他节点执行常规启动：

代码片段

sudo systemctl start mariadb

验证集群状态：

代码片段

-- MySQL客户端执行
SHOW STATUS LIKE 'wsrep%';

三、AI模型服务集成

3.1 Python环境准备

代码片段

# 安装Miniconda（所有节点）
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh -b -p $HOME/miniconda

# 初始化环境变量（加入~/.bashrc）
export PATH="$HOME/miniconda/bin:$PATH"

# 创建Python环境（以TensorFlow为例）
conda create -n tf_env python=3.8 -y 
conda activate tf_env 
pip install tensorflow flask gunicorn mysql-connector-python

3.2 Flask模型服务示例

创建model_service.py：

代码片段

from flask import Flask, request, jsonify
import mysql.connector as mysql

app = Flask(__name__)

# MySQL连接配置（使用集群中任意节点IP）
db_config = {
    'host': 'node1_ip',
    'user': 'ai_user',
    'password': 'secure_password',
    'database': 'ai_db'
}

@app.route('/predict', methods=['POST'])
def predict():
    # 从请求获取数据并预处理...
    input_data = request.json['data']

    # TODO: AI模型推理逻辑

    # 结果存储到MySQL集群（自动同步）    
    conn = mysql.connect(**db_config)
    cursor = conn.cursor()
    cursor.execute("INSERT INTO predictions (input, output) VALUES (%s, %s)", 
                  (str(input_data), str(result)))
    conn.commit()

    return jsonify({'result': result})

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

3.3 Nginx负载均衡配置

代码片段

upstream model_servers {
    server node1:5000;
    server node2:5000;
    server node3:5000;
}

server {
    listen       80;
    server_name  你的域名或IP;

    location / {
        proxy_pass http://model_servers;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

四、系统优化与监控

4.1 MySQL性能调优参数推荐：

代码片段

innodb_buffer_pool_size = 4G   # RAM的50-70%
innodb_log_file_size = 512M 
query_cache_type = ON 
query_cache_size = 64M 
max_connections = \200

4.2 Prometheus监控配置示例：

代码片段

scrape_configs:
 - job_name: 'mysql'
   static_configs:
     - targets: ['node1:9104', 'node2:9104', 'node3:9104']

 - job_name: 'ai_service'
   metrics_path: '/metrics'
   static_configs:
     - targets: ['node1:5000', 'node2:5000', 'node3:5000']

五、实践经验与注意事项

网络优化：建议使用10Gbps内网连接，避免跨机房部署集群节点

代码片段

# Linux内核参数优化（所有节点）  
echo "net.ipv4.tcp_tw_reuse = \1" >> /etc/sysctl.conf  
sysctl -p

数据安全：

代码片段

-- MySQL定期备份脚本示例  
mysqldump -u root -p --all-databases | gzip > /backups/mysql_$(date +%F).sql.gz

AI模型版本控制：建议使用MLflow等工具管理模型版本

六、总结

本文实现了企业数据中台的三大核心组件：
✅ 高可用MySQL集群：通过Galera实现多主复制
✅ 可扩展AI服务：Python+Flask轻量级API服务
✅ 统一访问入口：Nginx负载均衡+Prometheus监控

生产环境建议：对于大型企业，建议考虑Kubernetes容器化部署方案，并增加Redis缓存层提升性能。