1、TensorRT发布的模型(engine)不能跨平台使用
例如linux发布的模型不能在windows下用。
2、TensorRT发布的模型需要在相同GPU算力(compute capability)的情况下使用
否则会导致compute capability不匹配问题,例如算力6.1发布的模型不能在7.5上用。
查询显卡算力:
CUDA GPUs | NVIDIA Developer
3、
TensorRT发布的模型需要在匹配的CUDA和cudnn环境下用
TensorRT本身有严格的CUDA/cudnn版本兼容细分,虽然部分环境版本浮动可以有一定的适用性,但可能导致速度不稳定等问题,推荐使用同发布模型匹配的CUDA和cudnn环境。
CUDA小版本不一致会遇到警告:
[W] [TRT] TensorRT was linked against cuBLAS/cuBLAS LT 11.3.0 but loaded cuBLAS/cuBLAS LT 11.2.1
1、TensorRT发布的模型(engine)不能跨平台使用例如linux发布的模型不能在windows下用。2、TensorRT发布的模型需要在相同GPU算力(compute capability)的情况下使用否则会导致compute capability不匹配问题,例如算力7.0发布的模型不能在7.5上用。查询显卡算力:CUDA GPUs | NVIDIA Developer3、TensorRT发布的模型需要在匹配的CUDA和cudnn环境下用TensorRT本身有严格.
在自己的电脑上训练模型,然后生成engine模型并封装好放在另一台电脑上运行时,出现了以下报错
The engine plan file is generated on an incompatible device , expecting compute 6.1 got compute 7.5,please rebuild
解决办法:
这是由于硬件算力不匹配导致的,所以在一个硬件平台生成的engine模型,部署到另外一台设备时也要相同的硬件环境,如果想让自己的模型部署在不同的硬件平台,则需要将.
问题描述:
最近进行把TF的模型转化为UFF文件部署到
Tensor
RT
。在进行测试的时候发现一个问题,同一个数据使用T
RT
进行推理,但是每次结果都不一样。输出的结果本应是softmax算子输出结果, 但是输出的结果看着都是随机的,而且数值求和结果非1,而是有的非常大,有的非常小。
排查了一整天发现是因为我的日志头文件导入的顺序导致这个问题。
#include "easylogging++.h"
#include "common.h"
#include "buffers.h"
#include "Nv
版本请一一对应,版本不对,最终转engine也会出错
Python 3.8.x,Cuda 11.0.x,Cudnn 8.2.1,
Tensor
rt
8.2.4.2,Yolov5 6.1
1、Python 3.8推荐使用对应版本的Anaconda进行安装
2、安装Cuda,下载Cudnn(此过程省略,不懂的可以百度,安装比较简单)
3、打开 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA
找到你安装的版本目录,打开,找到bin、includ