一，模型在线部署

深度学习和计算机视觉方向除了算法训练/研究，还有两个重要的方向: 模型压缩（模型优化、量化）、模型部署（模型转换、后端功能SDK开发）。所谓模型部署，即将算法研究员训练出的模型部署到具体的 端边云 芯片平台上，并完成特定业务的视频结构化应用开发。

现阶段的平台主要分为云平台（如英伟达 GPU ）、手机移动端平台（ ARM 系列芯片）和其他嵌入式端侧平台（海思 3519 、安霸 CV22 、地平线 X3 、英伟达 jetson tx2 等芯片）。对于模型部署/移植/优化工程师来说，虽然模型优化、量化等是更有挑战性和技术性的知识，但是对于新手的我们往往是在做解决模型无法在端侧部署的问题，包括但不限于：实现新 OP 、修改不兼容的属性、修改不兼容的权重形状、学习不同芯片平台的推理部署框架等。对于模型转换来说，现在行业主流是使用 Caffe 和 ONNX 模型作为中间模型。

1.1，深度学习项目开发流程

在高校做深度学习 demo 应用一般是这样一个过程，比如使用 Pytorch/TensorFlow 框架训练出一个模型，然后直接使用 Pytorch 框架做推理（ test ）完成功能验证，但是在工业界这是不可能的，因为这样模型推理速度很慢，一般我们必须有专门的深度学习推理加速框架去做模型推理（ inference ）。以 GPU 云平台推理框架 TensorRT 为例，简单描述模型训练推理过程就是：训练好网络模型（权重参数数据类型为 FP32 ）输入 TensorRT ，然后 TensorRT 做解析优化，并进行在线推理和输出结果。两种不同的模型训练推理过程对比如下图所示:

前面的描述较为简单，实际在工业届，理想的深度学习项目开发流程应该分为三个步骤: 模型离线训练、模型压缩和模型在线部署 ，后面两个步骤互有交叉，具体详情如下：

模型离线训练 ：实时性低，数据离线且更新不频繁， batchsize 较大，消耗大量 GPU 资源。

模型优化压缩 ：主要涉及模型优化、模型转换、模型量化和模型编译优化，这些过程很多都在高性能计算推理框架中集成了，各个芯片厂商也提供了相应的工具链和推理库来完成模型优化压缩。实际开发中，在不同的平台选择不同的推理加速引擎框架，比如 GPU 平台选择 TensorRT ，手机移动端（ ARM ）选择 NCNN/MNN ， NPU 芯片平台，如海思3519、地平线X3、安霸CV22等则直接在厂商给出的工具链进行模型的优化（ optimizer ）和压缩。

模型部署/SDK输出 : 针对视频级应用需要输出功能接口的SDK。实时性要求高，数据线上且更新频繁， batchsize 为 1。主要需要完成多模型的集成、模型输入的预处理、非DL算法模块的开发、 各个模块 pipeline 的串联，以及最后 c 接口（ SDK ）的输出。

不同平台的模型的编译优化是不同的，比如 NPU 和一般 GPU 的区别在于后端模型编译上， GPU 是编译生成 kernel library ( cuDNN 函数)， NPU 是编译生成二进制指令；前端的计算图优化没有本质区别，基本通用。

所以综上所述，深度学习项目开发流程可以大致总结为三个步骤: 模型离线训练 、 模型优化压缩 和 模型部署/SDK输出 ，后两个步骤互有交叉。前面 2 个步骤在 PC 上完成，最后一个步骤开发的代码是需要在在 AI 芯片系统上运行的。最后以视差模型在海思 3519 平台的部署为例，其模型部署工作流程如下：

1.2，模型训练和推理的不同

为了更好进行模型优化和部署的工作，需要总结一下模型推理（ Inference ）和训练（ Training ）的不同：

二，手机端CPU推理框架的优化

对于 HPC 和软件工程师来说，在手机 CPU 端做模型推理框架的优化，可以从上到下考虑：

三，不同硬件平台量化方式总结

NVIDIA 的 TensorRT 框架在对权值(weights) 的量化上支持 per-tensor (也叫 per-layer) 和 per-channel 两种方式，采用 对称最大值 的方法；对于激活值(activations) 只支持 per-tensor 的方式，采用 KL-divergence 的方法进行量化。

嵌入式视觉 算法开发工程师 @ 商汤科技  1,198