版本矩阵

  • Python: 3.12
  • PyTorch: 2.6.0
  • Transformers: 4.46.3
  • FlashAttention: 2.7.3

环境配置

依赖安装与环境配置。

模型加载

调用示例代码。

支持的数据格式

训练与微调

模型规模

  • 参数：约 3B
  • safetensors：约 6.6GB
  • 精度：BF16

部署选项

  • 本地推理服务
  • HuggingFace Spaces
  • vLLM 集成

错误速查表