本文资源均来自互联网，仅供学习交流使用，请于24小时内删除

项目介绍

Production-grade ONNX Runtime inference in pure Rust — from YOLO detection and SAM segmentation to Grounding DINO, BiRefNet matting, ArcFace face recognition and RoMaV2 matching. Every engine behind one unified sync/async API, compiled into a single self-contained binary.

项目详情

rust-onnx-infer

一个 crate，40+ 视觉引擎，零原生依赖。

基于 ONNX Runtime 的生产级纯 Rust 推理库 —— 从 YOLO 检测、SAM 分割到 Grounding DINO
开放词表、BiRefNet 抠图、ArcFace 人脸识别、RoMaV2 特征匹配，40+ 引擎共享同一套
同步/异步 API，编译产物为单个自包含可执行文件。

English | 简体中文

亮点

• 静态链接 ONNX Runtime —— 基于 ort + 预编译静态库，产物为完全自包含的可执行文件，
  无需 LD_LIBRARY_PATH、无需环境配置、无运行时下载。
• 纯 Rust 图像处理栈 —— image + fast_image_resize + 内置颜色空间/形态学/阈值等原语，
  无 OpenCV、无 C++ 工具链、无跨编译负担。
• 一套 API 打通所有引擎 —— 同步 predict / predict_batch + tokio 原生
  predict_async / predict_batch_async，40+ 引擎接口完全一致。
• 类别标签零配置 —— 自动从 ONNX 元数据解析类别名（YOLO names / labels /
  categories，或逗号分隔格式）。
• 内置 SAHI 切片推理 —— 大图小目标场景提升召回，支持 GREEDYNMM / NMM / NMS 合并
  与 IoU / IOS 度量。
• GPU 加速 + 优雅回退 —— 执行提供器由引入方按目标平台通过 feature 启用：macOS 加
  coreml（Apple Silicon 可走 ANE/NPU）、NVIDIA 加 cuda，另有 tensorrt / directml /
  openvino / rocm；未启用对应 feature 时该设备类型自动回退 CPU。

安装

cargo add rust-onnx-infer

或在 Cargo.toml 中添加：

[dependencies]
rust-onnx-infer = "0.1"

快速上手

use rust_onnx_infer::{core::factory::create_detection_engine, DeviceType, Image};

let image = Image::load("input.jpg")?;
let engine = create_detection_engine("yolo11n.onnx", DeviceType::Cpu, 0.5, 0.45)?;
let detections = engine.predict(&image)?;
for d in &detections {
println!("{d}");
}

异步只需一行（tokio）：

let out = engine.predict_async(&img).await?;

运行完整示例：

cargo run --example onnx_inference_example

支持的模型

模块结构

构建说明

• 首次构建时 ort 会自动下载 ONNX Runtime 预编译静态库（需网络），之后离线可重复构建。
• 项目内 .cargo/config.toml 清空了 PKG_CONFIG_PATH / PKG_CONFIG_LIBDIR：防止 ort-sys
  通过 pkg-config 找到系统的 onnxruntime 动态库，确保静态链接、产物自包含。
• 加速后端（Execution Provider）：默认 CPU，按需启用（透传至 ort 同名 feature）：
  features = ["coreml"]（Apple Silicon 可走 ANE/NPU）、features = ["cuda"]（NVIDIA），
  以及 tensorrt / directml / openvino / rocm。启用后 DeviceType 枚举与工厂入口
  即已就绪；未启用 feature 时选择该设备类型会回退 CPU 并给出警告。
  注意：同时启用多个无单一预编译二进制覆盖的 EP（如 cuda + coreml）时 ort 会在
  链接期报错，可另加 lax-feature-matching 回退最接近的二进制。
• 二进制获取方式同样由引入方决定：默认 download-binaries（自动下载静态库）；改为
  default-features = false 并启用 load-dynamic 可在运行时动态加载 onnxruntime 库。
• 所有模型的 NMS/CTC 解码/坐标还原等后处理在 CPU 纯 Rust 执行，EP 只加速模型前向。
• 产物为自包含二进制，运行时仅依赖 macOS 系统自带框架，无 OpenCV / ONNX Runtime
  动态库依赖（可用 otool -L target/release/examples/onnx_inference_example 验证）。

模型目录（models/）

所有引擎所需模型按引擎名子目录组织（testmodels/ 仅为测试散件）：

测试

测试无需任何标志：cargo test 自动运行全部用例，模型/测试资产缺失的用例自动 SKIP
（控制台打印缺失清单）；设 MODEL_TESTS=1 可强制缺失即失败（CI 用）。

模型路径默认搜索 models/ 与 testmodels/ 两棵树，也可用 MODEL_DIR=models/、
TESTMODELS_DIR=models/、DART_MODELS_DIR=models/dart 指定。

已知限制

• 手部 21 点定位的 MediaPipe 官方模型仅 tflite 格式，库内使用 RTMPose-hand 替代（已完整支持）
• OBB 的 SAHI 合并以轴对齐近似（官方 sahi 不支持旋转框），精确角度场景请关闭 SAHI
• DART 引擎内存约 3.5GB，CPU 单类推理约 45s（推荐 GPU EP）

许可证

基于 MIT License 或 Apache License 2.0 双协议开源，
使用者可任选其一。

⬇️ 下载地址

下载后请先检查文件完整性，如有问题请在评论区反馈