ONNX Runtime 是一個(gè)跨平臺(tái)的高性能機(jī)器學(xué)習(xí)推理和訓(xùn)練加速工具。它支持從深度學(xué)習(xí)框架（如 PyTorch 和 TensorFlow/Keras）以及經(jīng)典機(jī)器學(xué)習(xí)庫(kù)（如 scikit-learn、LightGBM、XGBoost 等）導(dǎo)出的模型。ONNX Runtime 通過硬件加速器（如 GPU、TPU 等）和圖優(yōu)化技術(shù)，提供最佳的推理性能。

ONNX 運(yùn)行時(shí)與不同的硬件、驅(qū)動(dòng)程序和操作系統(tǒng)兼容，并通過利用硬件加速器（如適用）以及圖形優(yōu)化和轉(zhuǎn)換，提供最佳性能。ONNX Runtime 訓(xùn)練可以通過對(duì)現(xiàn)有 PyTorch 訓(xùn)練腳本的一行添加來(lái)加快 Transformer 模型在多節(jié)點(diǎn) NVIDIA GPU 上的模型訓(xùn)練時(shí)間。

主要特點(diǎn)

1.跨平臺(tái)支持：onnxruntime支持多個(gè)操作系統(tǒng)，包括Windows，Linux，macOS，Android和iOS。此壓縮包專門針對(duì)linux_armv7l平臺(tái)，即基于ARMv7架構(gòu)的Linux系統(tǒng)。
2.優(yōu)化性能：onnxruntime在多個(gè)平臺(tái)上進(jìn)行了性能優(yōu)化，包括利用硬件加速器，如GPU和TPU，以提高模型的推理速度。
3.易于部署：onnxruntime旨在簡(jiǎn)化模型的部署流程，提供了一種輕量級(jí)和高效的運(yùn)行時(shí)環(huán)境，讓模型在生產(chǎn)環(huán)境中以最小的開銷運(yùn)行。
4.廣泛兼容：支持ONNX格式意味著它可以運(yùn)行由主流深度學(xué)習(xí)框架（如TensorFlow，PyTorch，Caffe2，Microsoft Cognitive Toolkit等）導(dǎo)出的模型。

特性

內(nèi)置優(yōu)化，可提供高達(dá) 17 倍的推理速度和高達(dá) 1.4 倍的訓(xùn)練速度

支持多種框架、操作系統(tǒng)和硬件平臺(tái)

在 Office 365、Visual Studio 和 Bing 中使用，每天提供半萬(wàn)億次推理

ONNX Runtime 推理的示例用例包括

提高各種 ML 模型的推理性能

在不同的硬件和操作系統(tǒng)上運(yùn)行

在 Python 中訓(xùn)練但部署到 C#/C++/Java 應(yīng)用程序中

使用在不同框架中創(chuàng)建的模型訓(xùn)練和執(zhí)行推理

快速啟動(dòng)

安裝 ONNX Runtime

你可以通過 pip 安裝 ONNX Runtime：

加載和運(yùn)行模型

以下是一個(gè)簡(jiǎn)單的示例，展示如何加載一個(gè)預(yù)訓(xùn)練的 ONNX 模型并進(jìn)行推理：

ONNX Runtime 支持編程語(yǔ)言

C++：ONNX Runtime 原生就是用 C++編寫的，如果應(yīng)用對(duì)性能敏感，可以直接調(diào)用。

Python：Python API 允許加載 ONNX 模型，可以在不同的計(jì)算設(shè)備（如CPU, GPU）上運(yùn)行模型，是被使用最多的語(yǔ)言。

C#：C#的API，使 .NET開發(fā)者能夠在應(yīng)用程序中輕松地集成和使用ONNX 模型。

JavaScript：JavaScript庫(kù)允許在瀏覽器和 Node.js 環(huán)境中運(yùn)行ONNX模型，使得在Web應(yīng)用程序中部署機(jī)器學(xué)習(xí)模型變得更加容易。

另外還有 Java WinRT Objective-C Ruby Julia 等語(yǔ)言的支持，覆蓋面非常廣。