ONNX 格式优势
解决深度学习框架间的互操作性问题：
- 将模型从 PyTorch、TensorFlow 导出为标准格式
- 在不同编程语言和硬件平台上运行
- 避免重新训练模型实现跨平台部署
典型部署流程
- 模型导出：使用框架特定 API 转换为 ONNX 格式
- 模型优化：图优化、算子融合、常量折叠
- 推理引擎选择：ONNX Runtime / TensorRT / OpenVINO
性能优化技术
- 量化压缩：FP32 → INT8，减少内存占用，提升推理速度
- 批处理优化：平衡延迟和吞吐量
- 硬件特定优化：针对 Jetson 等平台定制
TensorRT
NVIDIA 深度学习推理优化库，专为 GPU 加速设计：
核心技术
- 张量融合：减少内存访问和内核启动开销
- 低精度计算：
- FP16：吞吐量提升 2 倍
- INT8：速度提升 4 倍
- INT4：显存减少 75%
优化流程
- 模型裁剪：结构化/非结构化剪枝
- 量化部署：PTQ / QAT
实际效果
| 指标 | 原始模型 | INT4 量化 | 提升幅度 |
|---|---|---|---|
| 推理延迟 | 120ms | 35ms | 3.4倍 |
| 显存占用 | 8GB | 2GB | 4倍 |
| 任务成功率 | 92.3% | 92.7% | +0.4% |
Triton
NVIDIA Triton 推理服务器：
- 模型并行部署：支持同时加载多个版本模型
- gRPC/REST 接口：标准 API，延迟 <50ms
- 解耦架构：决策/感知模块分离
部署方案选择
GPU/NPU 平台（Jetson）
- 使用 TensorRT
- 层融合优化、INT8 量化、动态张量内存管理
x86/ARM CPU 平台（树莓派）
- 使用 OpenVINO
- 模型优化器、CPU 扩展指令集、OpenCL 加速
容器化
使用 Docker 打包依赖，确保一致性和可移植性：
- 环境配置：创建 Dockerfile
- 依赖管理
- 构建与测试
- 部署优化
- 版本控制
技术栈总结
- 感知层：激光雷达、摄像头、IMU（10-100Hz）
- 决策层：ROS/ROS2，传感器融合、定位建图
- 执行层：电机、机械臂（毫秒级响应）