云信AI部署

DeepSeek安装：如何配置模型分片

云信安装大师
90
AI 质量分
2 5 月, 2025
2 分钟阅读
0 阅读

DeepSeek安装指南：如何配置模型分片

引言

在大型语言模型(LLM)应用中，模型分片(Model Sharding)是一项关键技术，它能将大模型分割成多个部分并分配到不同设备上运行。本文将以DeepSeek为例，详细介绍如何安装和配置模型分片功能，让您即使在资源有限的硬件上也能运行大型语言模型。

准备工作

在开始之前，请确保满足以下条件：

  1. Python 3.8或更高版本
  2. 支持CUDA的NVIDIA GPU（如果使用GPU加速）
  3. 至少16GB内存（具体需求取决于模型大小）
  4. pip包管理工具已安装

安装DeepSeek

首先安装DeepSeek基础包：

代码片段 
pip install deepseek

对于GPU用户，建议同时安装对应版本的PyTorch：

代码片段 
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

配置模型分片

1. 基本分片配置

DeepSeek支持自动模型分片，以下是基本配置方法：

代码片段 
from deepseek import AutoModelForCausalLM, AutoTokenizer

# 加载模型时启用分片
model = AutoModelForCausalLM.from_pretrained(
    "deepseek-ai/deepseek-llm-7b",
    device_map="auto",  # 自动分配设备
    torch_dtype="auto", # 自动选择数据类型
    low_cpu_mem_usage=True, # 减少CPU内存占用
    offload_folder="offload" # 临时卸载目录
)

tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/deepseek-llm-7b")

参数说明：
– device_map="auto"：让系统自动决定如何分割和分配模型到可用设备
– torch_dtype="auto"：自动选择最适合的数据类型（float16/float32）
– low_cpu_mem_usage：减少加载时的CPU内存峰值使用量
– offload_folder：指定临时卸载模型的目录路径

2. 自定义设备映射

如果需要更精细地控制模型分片，可以手动指定设备映射：

代码片段 
device_map = {
    "model.embed_tokens": "cuda:0",
    "model.layers.0": "cuda:0",
    "model.layers.1": "cuda:0",
    # ...中间层分配到不同设备...
    "model.layers.28": "cuda:1",
    "model.layers.29": "cuda:1",
    "model.norm": "cuda:1",
    "lm_head": "cuda:1"
}

model = AutoModelForCausalLM.from_pretrained(
    "deepseek-ai/deepseek-llm-7b",
    device_map=device_map,
    torch_dtype=torch.float16,
)

实践经验：
– 将相邻层分配到同一设备可以减少跨设备通信开销
– Embedding层和最终输出层通常放在同一设备上效率更高
– GPU内存不足时可以考虑部分层卸载到CPU（但不推荐频繁使用）

3. CPU卸载策略

对于内存特别紧张的环境，可以使用CPU卸载：

代码片段 
from accelerate import infer_auto_device_map, dispatch_model

# 创建包含CPU的设备映射
device_map = infer_auto_device_model(
    model,
    max_memory={0: "10GiB", 1: "10GiB", "cpu": "30GiB"}
)

# 应用设备映射
model = dispatch_model(model, device_map=device_map)

注意事项：
– CPU卸载会显著降低推理速度（约5-10倍）
– CPU卸载适合偶尔运行大模型的场景，不适合生产环境高频使用

完整示例代码

以下是一个完整的DeepSeek模型加载与推理示例：

代码片段 
import torch
from deepseek import AutoModelForCausalLM, AutoTokenizer

def load_model_with_sharding(model_name):
    # 加载tokenizer
    tokenizer = AutoTokenizer.from_pretrained(model_name)

    # 配置分片参数加载模型
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        device_map="auto",
        torch_dtype=torch.float16,
        low_cpu_mem_usage=True,
        offload_folder="./offload"
    )

    return model, tokenizer

def generate_text(model, tokenizer, prompt):
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

    with torch.no_grad():
        outputs = model.generate(
            **inputs,
            max_new_tokens=100,
            do_sample=True,
            temperature=0.7,
            top_p=0.9
        )

    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# 使用示例
if __name__ == "__main__":
    model_name = "deepseek-ai/deepseek-llm-7b"

    print("正在加载模型...")
    model, tokenizer = load_model_with_sharding(model_name)

    prompt = """人工智能的未来发展"""

    print("生成内容中...")
    result = generate_text(model, tokenizer, prompt)

    print("\n生成结果:")
    print(result)

常见问题解决

Q1: CUDA内存不足错误怎么办？

A:
1. 尝试减小max_new_tokens参数值
2. 增加更多GPU或使用更大的显存设备
3. 考虑使用更小的量化版本(如4-bit量化)

Q2: CPU内存不足错误怎么办？

A:
1. 确保low_cpu_mem_usage=True
2. 增加交换空间(swap space)
3. 考虑使用云服务或更高配置的机器

Q3: Device map分配不合理怎么办？

A:
1. max_memory参数可以限制各设备的最高使用量
2. no_split_module_classes可以防止某些模块被分割

性能优化建议

  1. 混合精度训练：

    代码片段 
    model.half() # FP16转换可以减少显存占用约50%

  2. 4-bit量化：

    代码片段 
    from transformers import BitsAndBytesConfig

bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_use_double_quant=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16
)

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map="auto"
)

  3. 梯度检查点：

    代码片段 
    model.gradient_checkpointing_enable() #训练时节省显存但会增加计算时间约20%

总结

通过本文介绍的DeepSeek模型分片技术，您可以：
1. ✅在有限硬件资源上运行大型语言模型
2. ✅灵活控制模型的各部分在不同设备的分布
3. ✅通过量化等技术进一步优化性能

关键点回顾：
1️⃣ device_map="auto"是最简单的自动分片方式
2️⃣ CPU卸载是最后手段而非首选方案
3️⃣ FP16/4-bit量化能显著减少显存需求

希望本指南能帮助您顺利部署DeepSeek大语言模型！

原创 高质量