Spekülatif Kod Çözme Sistemi (Speculative Decoding System)
Her çıkarım döngüsü (inference cycle) sırasında hafif taslak modeli, ardışık bağımlı olarak (autoregressively) hızla K aday jeton (candidate tokens) dizisi üretir. Daha büyük, hesaplama açısından ağır olan hedef modeli (target model), olasılık dağılımlarını hesaplayarak tek bir ileri geçişte (forward pass) tüm K jetonlarını aynı anda değerlendirir. Hedef modelin kabul kriterlerini (acceptance criteria) karşılayan jetonlar tutulurken, sapan ilk jeton düzeltilerek sistemin her hedef ileri geçişte birden çok geçerli jeton üretmesi sağlanır.
