版本矩阵
- Python: 3.12
- PyTorch: 2.6.0
- Transformers: 4.46.3
- FlashAttention: 2.7.3
环境配置
依赖安装与环境配置。
模型加载
调用示例代码。
支持的数据格式
训练与微调
模型规模
- 参数:约 3B
- safetensors:约 6.6GB
- 精度:BF16
部署选项
- 本地推理服务
- HuggingFace Spaces
- vLLM 集成
面向技术趋势、行业资料和模型能力的调研型内容,适合快速建立背景认知。
这是一篇调研或历史归档型文章,适合作为背景资料阅读;如果要用于实际落地,建议结合最新官方文档和当前工程环境再验证。
依赖安装与环境配置。
调用示例代码。