本文共 2665 字，大约阅读时间需要 8 分钟。

������������TensorRT���������������������������������������

TensorRT������������������������������Inference���������������������������������������������������������������������TensorRT���CPU���GPU���������������������10���������������������������

TensorRT���������������������������������������������������������������

���������TensorRT���������������������������������int8���FP16������������������������������������������������������������������������float���double���������������������������������������������������������������������������������������������������������������������������int8������������������������������������������

���������TensorRT������GPU������������������������������������������������������������������������������bias+conv+relu��������������� ���������������������������������������������������������������������������������������GPU������������������������������������������������������������������

������TensorRT���������������������������

���������Python������������TensorRT������������������������������PyCuD���PyCUDA������������������PyTorch���������������������������������������������������������������

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/root/tensorrt_tar/TensorRT-*/lib

3. ������pip������TensorRT Python���������������������������

pip install tensorrt-5.0.2.6-py2.py3-none-any.whl

4. ������������������TensorFlow���������������������UFF���������������������������������������

cd TensorRT-5.0.2.6/uff

pip install uff-0.5.5-py2.py3-none-any.whl

5. ������������������������������������������������������GraphSurgeon������������������������������

cd TensorRT-5.0.2.6/graphsurgeon

������������������������������������������������������TensorRT���������������������

import tensorrt as trtimport uff

������������TensorRT������������������������������������

6. ���TensorFlow���������������_pb���������������

7. ������convert_to_uff���������TensorFlow���������������UFF���������������������������

python3.5 /usr/lib/python3.5/dist-packages/uff/bin/convert_to_uff.py --input_file models/lenet5.pb

������������������UFF���������������������models���������������������lenet5.uff���

������PyTorch������������������������������������������������

8. ���PyTorch������������ONNX���������������������

9. ������TensorRT Runtime Engine������������������������������������������������������������������������������������������������������������������������������

���������������������������������������������������������������������������������������