本文共 549 字，大约阅读时间需要 1 分钟。

ONNX 介绍

ONNX Runtime 是基于 ONNX 规范的推理引擎，能够自动调用各种硬件加速器，如 NV CUDA、TensorRT、Intel 的 MKL-DNN 和 nGraph 等。这样，开发者只需将 ONNX 格式的模型传入到蓝色部分的 Runtime，就能完成计算图的分割和并行化处理，只需提供输入数据和输出结果即可。

简单使用指南

import onnxruntime as rtsess  
sess = rt.InferenceSession("model.onnx")  
input_name = sess.get_inputs()[0].name  
X = numpy.random.random((3, 4, 5)).astype(numpy.float32)  
pred_onnx = sess.run(None, {input_name: X})  
print(pred_onnx)