欢迎来到 KTransformers 博客

我们很高兴推出 KTransformers 官方博客！在这里，我们将分享：

内容预告

• 产品更新：了解最新的版本发布、功能特性和改进
• 教程指南：帮助您充分利用 KTransformers 的分步教程
• 性能优化：在您的硬件上优化推理的最佳实践
• 社区亮点：展示使用 KTransformers 构建的精彩项目

快速开始

如果您是 KTransformers 的新用户，请查看我们的文档开始使用。通过我们优化的 MoE 卸载技术，您可以在单张 RTX 4090 上运行 DeepSeek-R1-671B。

from ktransformers import AutoModel

model = AutoModel.from_pretrained(
    "deepseek-ai/DeepSeek-R1-671B",
    device_map="auto",
    ktransformers_config="./config.yaml"
)

加入社区

我们期待您的参与！加入我们的社区：

• GitHub - 给我们 Star 并参与贡献
• 提交测试结果 - 分享您的性能测试数据

敬请关注更多更新！