云信AI部署

DeepSeek安装：如何配置模型分布式

云信安装大师
90
AI 质量分
2 5 月, 2025
2 分钟阅读
0 阅读

DeepSeek安装：如何配置模型分布式

引言

在大型语言模型(LLM)训练中，分布式训练是解决显存不足和加速训练的关键技术。DeepSeek作为一款强大的开源大模型框架，提供了完善的分布式训练支持。本文将详细介绍如何安装DeepSeek并配置分布式训练环境。

准备工作

环境要求

  • 操作系统: Linux (推荐Ubuntu 20.04+) / Windows WSL2
  • Python: 3.8+
  • CUDA: 11.4+ (如需GPU支持)
  • NCCL: 2.10+ (多机通信需要)
  • PyTorch: 1.12+

硬件建议

  • GPU: NVIDIA A100/V100等支持FP16的显卡
  • 网络: InfiniBand或高速以太网(多机训练需要)

详细安装步骤

1. 基础环境安装

首先安装必要的依赖：

代码片段 
# Ubuntu/Debian系统
sudo apt update && sudo apt install -y python3-pip git build-essential

# CentOS/RHEL系统
sudo yum install -y python3-pip git make gcc-c++

2. PyTorch安装（带CUDA支持）

代码片段 
# 根据你的CUDA版本选择对应的PyTorch
pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

注意：如果你的CUDA版本不是11.6，请修改cu116为你的实际版本号。

3. DeepSeek框架安装

代码片段 
pip install deepseek-engine

# 或者从源码安装最新版（推荐）
git clone https://github.com/deepseek-ai/deepseek-engine.git
cd deepseek-engine
pip install -e .

4. NCCL安装（多机通信需要）

代码片段 
# Ubuntu/Debian系统
sudo apt install -y libnccl2 libnccl-dev

# CentOS/RHEL系统
sudo yum install -y libnccl libnccl-devel

分布式配置详解

DeepSeek支持多种分布式策略，包括数据并行、模型并行和流水线并行。

1. 单机多卡数据并行配置

代码片段 
import torch.distributed as dist
from deepseek import Trainer, TrainingArguments

def setup_distributed():
    # 初始化进程组
    dist.init_process_group(
        backend='nccl',   # NVIDIA GPU使用NCCL后端
        init_method='env://'
    )

    # 设置当前设备为对应GPU
    local_rank = int(os.environ['LOCAL_RANK'])
    torch.cuda.set_device(local_rank)

if __name__ == "__main__":
    setup_distributed()

    # 训练参数配置示例
    training_args = TrainingArguments(
        output_dir="./output",
        per_device_train_batch_size=8,
        num_train_epochs=3,
        learning_rate=5e-5,
        fp16=True,          # FP16混合精度训练

        # 分布式相关参数
        local_rank=int(os.environ['LOCAL_RANK']),
        world_size=int(os.environ['WORLD_SIZE']),

        # DeepSeek特有参数  
        model_parallel_size=1,   # >=2时启用模型并行  
        pipeline_parallel_size=1, # >=2时启用流水线并行  
    )

    trainer = Trainer(
        model=model,
        args=training_args,
        train_dataset=train_dataset,
    )

    trainer.train()

启动命令：

代码片段 
# 单机4卡训练示例（数据并行）
torchrun --nproc_per_node=4 train.py

2. 多机多卡分布式配置

假设有两台机器，每台有4个GPU：

代码片段 
def setup_multi_node():
    dist.init_process_group(
        backend='nccl',
        init_method='tcp://主节点IP:29500',  
                            # ^--主节点的IP和端口号  
                            # (通常选择29500-29599之间的端口)
        rank=int(os.environ['RANK']),      # [0, world_size-1]
        world_size=int(os.environ['WORLD_SIZE'])
    )

启动命令（在两台机器上分别执行）：

“`bash

Master节点(IP:192.168.1.100)

torchrun \
–nnodes=2 \
–noderank=0 \
–nprocpernode=4 \
–masteraddr=”192.168.1.100″ \
–master_port=29500 \
train.py

Worker节点(IP:192.168.1.101)

torchrun \
–nnodes=2 \
–noderank=1 \
–nprocpernode=4 \
–masteraddr=”192.168.1.100″ \
# ^–必须指向Master节点IP
# (即使在本机上也要写完整IP)
#
#
#
#
#
#
#
#
#
#
#
#
#
#
#

原创 高质量