KTransformers

安装指南

快速安装

pip install ktransformers

从源码安装

git clone https://github.com/kvcache-ai/ktransformers.git
cd ktransformers
pip install -e .

CUDA 配置

KTransformers 需要 CUDA 来进行 GPU 加速。请确保您具备：

  1. 计算能力 7.0+ 的 NVIDIA GPU
  2. CUDA Toolkit 11.8 或更高版本
  3. cuDNN 8.6 或更高版本

验证 CUDA 安装

nvidia-smi
nvcc --version

Docker

docker pull kvcache/ktransformers:latest
docker run --gpus all -it kvcache/ktransformers

故障排除

找不到 CUDA

确保 CUDA 在您的 PATH 中：

export PATH=/usr/local/cuda/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH

内存不足

尝试减少 batch size 或在配置中启用 offloading。