KTransformers

欢迎使用 KTransformers

KTransformers 是一个灵活的、以 Python 为核心的框架，旨在通过先进的 LLM 推理优化技术提升您的使用体验。专为研究人员和开发者设计，让您能够在消费级硬件上高效运行大语言模型。

核心特性

  • 异构计算: 同时利用 CPU、GPU 和其他加速器，实现最佳性能
  • MoE 卸载: 在单张 GPU 上运行 DeepSeek-R1-671B 等大型混合专家模型
  • 灵活配置: 通过 YAML 配置文件精细调整每个方面
  • Python 优先: 易于理解、修改和扩展

快速开始

通过 pip 安装 KTransformers：

pip install ktransformers

基本用法：

from ktransformers import AutoModel

model = AutoModel.from_pretrained(
    "deepseek-ai/DeepSeek-R1-671B",
    device_map="auto"
)

output = model.generate("Hello, world!")

下一步