Skip to main content

> ML_ALGORITHM // DEEP-Q-NETWORK-DQN_v1.0

Derin Q-Ağı (DQN ve Rainbow)

Q-öğrenmeyi derin konvolüsyonel ağlar, deneyim tekrarı ve periyodik hedef ağlarla birleştiren çığır açıcı derin pekiştirmeli öğrenme algoritması.

Deep Value-Based RLreinforcement-learningblack-boxlarge (>100k)
Tüm Algoritmalara Dön
Hesaplama Karmaşıklığı
Eğitim (Training):O(steps * batch_size * Q_network_forward_backward)
Çıkarım (Inference):O(Q_network_forward)
Donanım Karakteristiği
CPU Uygunluğu:Hayır
GPU Zorunluluğu:Evet
Bellek Ayak İzi:moderate
Açıklanabilirlik ve Veri
Açıklanabilirlik Düzeyi:black-box
Eğitim Verisi İhtiyacı:large (>100k)

Açıklanabilirlik Değerlendirmesi

Yapay sinir ağı karmaşık yüksek boyutlu durumdan eyleme Q-değerlerini yaklaştırır.

Uygun Görevler ve Desteklenen Modaliteler

Uygun Görevler:
reinforcement learningdiscrete game control
Desteklenen Modaliteler:
imagetabular

Uygulayıcı Kütüphaneler

stable-baselines3
torchrl
ray-rllib

Temel Literatür & Yayınlar

Human-level control through deep reinforcement learning (Nature DQN)Volodymyr Mnih, Koray Kavukcuoglu (2015) · Nature
Rainbow: Combining Improvements in Deep Reinforcement LearningMatteo Hessel, Joseph Modayil (2018) · AAAI Conference on Artificial Intelligence
Sık Karşılaşılan Hatalar ve Dikkat Edilmesi Gerekenler
  • "Ölümcül Üçlü" (fonksiyon yaklaştırma + önyükleme + off-policy eğitim) nedeniyle yıkıcı ıraksama yaşanması
  • Hedef ağ güncelleme sıklığını çok yüksek ayarlamak kararlılığı bozar