微光实验室 · 标签归档
共 1 篇文章，按主题汇总相关教程、案例、工程实践和阶段性总结。
模型量化将FP32权重压缩为低精度表示，可显著降低推理资源消耗。实验表明，量化后模型延迟降低60%、内存减少70%。分析量化对视觉、语言、跨模态任务的影响。