自动驾驶之心cuda与TEnsorRT部署实战课程
TensorRT包括 推理优化(inference optimization) 和 runtime 两部分,类似于 MicroSoft 提出的 ONNX Runtime,但 ONNX Runtime 一般只能接收 ONNX 格式的模型,而TensorRT可以接受包括ONNX,Pytorch, Tensorflow等基本上所有框架的模型

TensorRT在对模型优化时主要进行了5个调整:

1. Layer and tensor fusion


