Skip to main content

> ML_KUTUPHANE // ONNXRUNTIME_v1.0

ONNX Runtime

Microsoft / Linux Foundation AI & Data — Platformlar arası, yüksek performanslı ML çıkarım ve eğitim hızlandırıcısı.

serving-inferencev1.19.2MITqualified
Resmi DokümantasyonKaynak Kod Deposu

Model Eğitimi (Training)

Destekleniyor
Desteklenen Hızlandırıcılar:
CPUCUDAROCM
Dağıtık Eğitim (Distributed):Evet

Model Sunumu (Inference)

Destekleniyor
Inference Hızlandırıcıları:
CPUCUDAROCMMPSWEBGPUWASM
Hedef Ortamlar (Targets):server, edge, mobile, browser
Kuantizasyon Formatları:INT8, UINT8, FP16, BFP16

Neleri Sağlar (Ne Yapar)

  • +CPU, GPU (CUDA/ROCm), DirectML, CoreML, OpenVINO ve WebGPU üzerinde yüksek performanslı çıkarım
  • +Grafik optimizasyonları, operatör birleştirme ve karma hassasiyetli kuantalama (FP16, INT8)
  • +Bağımsız C++ ikilisi, C#/.NET kütüphanesi, Node.js modülü veya tarayıcı WebAssembly motoru olarak dağıtılabilme

Neleri Sağlamaz (Ne Yapmaz)

  • -Sıfırdan üretici LLM modelleri eğitme (sınırlı ORT Training eklentisi vardır)
  • -Ajan orkestrasyon çerçevesi olarak işlev görme
  • -ONNX formatına dönüştürülmemiş ham PyTorch kodunu doğrudan çalıştırma

>Uygun İş Tipleri

  • Windows, Linux, macOS, iOS, Android ve Web tarayıcılarında evrensel üretim çıkarımı
  • Düşük gecikmeli klasik ML puanlama (ONNX'e dönüştürülmüş scikit-learn ve LightGBM)
  • CPU sunucularında saniyede binlerce istek alan embedding model çıkarımı

>Uygun Olmayan İş Tipleri

  • ONNX formatına aktarmadan önceki hızlı model mimarisi denemeleri
  • Temel modellerin sıfırdan ön eğitimi
Veri Yerleşimi ve İkameti

Ana makine veya istemci cihazında süreç içi bellek. Sıfır uzaktan iletişim.

Güvenlik Değerlendirmesi

ONNX statik Protobuf tabanlı bir spesifikasyondur; Python pickle açıklarına karşı doğası gereği güvenlidir.

Operasyonel Metrikler ve Bilinen Kısıtlar

Olgunluk:mature
Öğrenme Eğrisi:low
Operasyon Yükü:low
Maliyet Seviyesi:free-oss
> Bilinen Kısıtlamalar:
  • Özel PyTorch operatörlerini veya dinamik kontrol akışlarını ONNX formatına dönüştürmek operatör desteği yoksa başarısız olabilir.
  • Birden fazla Yürütme Sağlayıcısını (Execution Provider) paketlemek ikili dosya boyutunu büyütebilir.

İlişkili Üretim Arıza Paternleri (Incidentpedia)

Bu kütüphaneyi üretimde kullanırken aşağıdaki arıza senaryolarına karşı fail-closed korumalar uygulayın:

cuda-mismatch-silent-fallbacktraining-serving-skew

> Birincil Kanıt ve Doğrulama Kaynakları

ONNX Runtime Documentationofficial-docs • >=1.16.0, <=1.19.x
2026-09-25HIGH