TensorRT 安装教程

〇、准备工作

安装教程主要针对 Linux (Ubuntu 20.04)
在安装前首先需要保证 CUDA 已安装（查看往期教程）

一、使用 docker 镜像（推荐）

tensorrt 镜像

二、TensorRT 官方文档安装教程

以下安装分别对应官方文档

4.1. Debian Installation（推荐）

下载
nv-tensorrt-repo-ubuntu2004-cuda11.6-trt8.4.1.5-ga-20220604_1-1_amd64.deb

1
2
3
4
sudo apt-get update
sudo apt-get install tensorrt # 官方教程下载了对应版本，也会根据这个命令安装最新版本

apt install ./nv-tensorrt-repo-ubuntu2004-cuda11.6-trt8.4.1.5-ga-20220604_1-1_amd64.deb

由于官方教程下载了对应版本，也会根据这个命令安装最新版本
尝试以下方法安装指定版本
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
apt-get install libnvinfer8=8.4.1-1+cuda11.6 -y
apt-get install libnvinfer-plugin8=8.4.1-1+cuda11.6
apt-get install libnvparsers8=8.4.1-1+cuda11.6
apt-get install libnvonnxparsers8=8.4.1-1+cuda11.6

apt-get install libnvinfer-bin=8.4.1-1+cuda11.6
apt-get install libnvinfer-dev=8.4.1-1+cuda11.6
apt-get install libnvinfer-plugin-dev=8.4.1-1+cuda11.6
apt-get install libnvparsers-dev=8.4.1-1+cuda11.6
apt-get install libnvonnxparsers-dev=8.4.1-1+cuda11.6

apt-get install tensorrt-dev=8.4.1.5-1+cuda11.6

# 安装完成可通过以下命令检测
dpkg -l | grep TensorRT
# 安装完成后便可运行命令行工具
/usr/src/tensorrt/bin/trtexec

4.5. pip Wheel File Installation

https://pypi.org/project/nvidia-tensorrt/

1
pip install nvidia-tensorrt

只支持 python 接口，目前只有 8.4.1.5版本

4.6. Tar File Installation

下载
TensorRT-8.4.1.5.Linux.x86_64-gnu.cuda-10.2.cudnn8.4.tar.gz
解压
配环境变量
预先编译好的版本，需要环境匹配

4.7. Zip File Installation

同上，windows 使用