大模型部署背景

• 随着大模型的不断发展，模型参数的规模也在不断扩大。为了在有限的算力（边缘计算端，移动端，算力较低的显卡）条件下成功部署这些大模型，并确保满足推理速度的需求，对模型进行优化变得愈发重要。在这个背景下，模型压缩和硬件加速等优化手段成为研究领域内备受关注的热门方向。

• 大模型特点

  • 内存开销巨大
    • 庞大的参数量。7B模型仅权重就需要14+G内存。
    • 采用自回归生成token，需要缓存Attention的k/v，带来巨大的内存开销。
  • 动态shape
    • 请求数不固定。
    • Token逐个生成，且数量不定。
  • 相对视觉模型，LLM结构简单。
    • Transformers结构，大部分使decoder-only。

• 大模型部署挑战

  • 设备存储问题：如何在低存储的设备上（消费级显卡，手机）部署，即便成功部署，设备性能也可能受到显著的卡顿影响。
  • 推理速度：
    • 如何加速token生成速度。
    • 如何解决动态shape，让推理可以不间断。
    • 如何有效管理和利用内存。
  • 服务：
    • 如何提升系统整体吞吐量（并发）？
    • 对于个体用户，如何降低响应时间？

• 大模型部署方案

  • 技术点
    • 模型并行
    • 低比特量化 （4bit，8bit）
    • Page Attention
    • transformer计算和访存优化
    • Continuous Batch
    • 模型剪枝 （结构化剪枝，非结构化剪枝，稀疏训练）
  • 方案
    • huggingface transformers
    • 专门的推理加速框架
    • 云端
      • Imdeploy
      • vllm
      • tensorrt-llm
      • deepspeed
      • LLM-Pruner
    • 移动端
      • llama.cpp
      • mlc-llm

LMDeploy 简介

• LLM 在英伟达设备上部署的全流程解决方案。包括模型轻量化、推理和服务。

  

  

量化

• 量化前后对比

  

• 计算密集（compute-bound）：指推理过程中，绝大部分的时间是消耗在数值计算上。

  • 可以使用更快的硬件计算单元来提升计算速度。
  • 量化为 W8A8 ，使用 INT8 Tensor Core 来加速计算。

• 访存密集（memory-bound）：指推理过程中，绝大部分的时间是消耗在数据读取上。

  • 通过减少访存次数、提高计算访存比或降低访存量来优化。
  • 4bit Weight Only 量化（W4A16）。
  • KV Cache 量化。

• 常见的 LLM 模型由于 Decoder Only 架构的特性，实际推理时大多数的时间都消耗在了逐 Token 生成阶段（Decoding 阶段），是典型的访存密集型场景。

• 如下图所示，A100只有在 Batch Size 达到 128 这个量级时，计算才成为计算的瓶颈。

  

• Weight Only 量化

  • 4bit Weight Only 量化，将FP16 的模型权重量化为INT4，访存量直接降为 FP16模型的 1/4，大幅降低了访存成本，提高了 Decoding 的速度。