vs-mlrt搬运说明机翻

vs-mlrt

该项目为各种平台提供 VapourSynth ML 过滤器运行时：

x86 CPU：vsov-cpu，vsort-cpu

英特尔 GPU（集成和离散）：vsov-gpu，vsncnn-vk

NVidia GPU：vsort-cuda、vstrt、vsncnn-vk

AMD GPU：vsncnn-vk

为了简化使用，我们还为所有捆绑的模型提供了一个 Python 包装器vsmlrt.py ，并提供了 一个统一的界面来选择不同的后端。

有关支持的型号和使用信息，请参阅wiki 。

vsov：基于 OpenVINO 的纯 CPU 和英特尔 GPU 运行时

OpenVINO是 Intel 开发的 AI 推理运行时，主要针对 x86 CPU 和 Intel GPU。

vs-openvino 插件为一些流行的 AI 过滤器提供优化的纯CPU 和 Intel GPU 运行时。Intel GPU 在 Broadwell+ 和 Arc 系列 GPU 上支持 Gen 8+。

要安装，请下载最新版本并将它们解压缩到您的 VSplugins目录中。

有关详细信息，请访问vsov目录。

vsort：基于 ONNX 运行时的 CPU/GPU 运行时

ONNX 运行时是具有许多后端的 AI 推理运行时。

vs-onnxruntime 插件为一些流行的 AI 过滤器提供优化的 CPU 和 CUDA GPU 运行时。

要安装，请下载最新版本并将它们解压缩到您的 VSplugins目录中。

请访问vsort目录了解详细信息。

vstrt：基于 TensorRT 的 GPU 运行时

TensorRT是针对 NVidia GPU 的高度优化的 AI 推理运行时。它使用基准测试来找到用于您的特定 GPU 的最佳内核，因此有一个额外的步骤可以在您将要使用 vstrt 过滤器的机器上从 ONNX 网络构建引擎，这个额外的步骤使部署模型有点比其他运行时更难。但是，由此产生的性能通常也 比vsort的 CUDA 后端好得多。

要安装，请下载最新版本并将它们解压缩到您的 VSplugins目录中。

请访问vstrt目录了解详细信息。

vsncnn：基于 NCNN 的 GPU (Vulkan) 运行时

ncnn是一种流行的 AI 推理运行时。vsncnn 为一些 AI 过滤器提供了一个基于 vulkan 的运行时。它包括对 on-the-fly ONNX 到 ncnn 本机格式转换的支持，以便在该项目提供的所有运行时提供统一的接口。由于它使用与设备无关的 Vulkan接口进行 GPU 加速推理，因此该插件支持所有提供 Vulkan 接口的 GPU（NVidia、AMD、Intel 集成和独立 GPU 都提供此接口。）另一个好处是它的占用空间明显小于其他 GPU 运行时（vsort 和 vstrt CUDA 后端都需要 >1GB 的 CUDA 库。）主要缺点是速度较慢。

要安装，请下载最新版本并将它们解压缩到您的 VSplugins目录中。

有关详细信息，请访问vsncnn目录。https://github.com/AmusementClub/vs-mlrt/wiki