01
Sinir Ağı Temelleri
Tam bağlı bir ağın her parçasının ne kattığının ve aynı ağın ikinci koşumunun ne kadar oynadığının ölçülmesi: tek katmanlı ağın doğrusal modelle aynı şey olması ve katman eklemenin değiştirdiği, doygunluğun eğimi küçültmesi ile ölü birim sayısı, katman genişledikçe parametre ve çarpma sayısının büyümesi, kayıp seçiminin aynı ağda iki ayrı sonuç vermesi ve kaybın ölçütle aynı şey olmaması, geri yayılımın sayısal türevle doğrulanması, üç eniyileyicinin aynı tur bütçesinde ulaştığı kayıp ve kararlılığı, derinleştikçe sönen ve patlayan eğim, seyreltme ile erken durdurmanın katkısı ve erken durdurmanın hangi kümeden okunduğu, toplu normalleştirmenin izin verdiği öğrenme adımı.
- 01 Algılayıcı ve Çok Katmanlı Ağ Bir ağın sayısının kapasitesinden mi eğitiminden mi geldiğinin ilk kez ölçülmesi: tek katmanlı ağ, sıfırdan ilklendirildiğinde M27/K03'ün doğrusal modelinin üç ayar değerindeki üç sayısını da son basamağına kadar veriyor. Küçültülmüş 300 satırlık eğitim kümesinde 113 parametreli iki katmanlı ağ dört adayla 0,7857'ye çıkıyor, taban çizgisi 0,7579; ama aynı ağın yalnız başlangıç değerleri değiştirilen ikinci koşumu 0,7698 veriyor ve beş koşumun bandı 0,7659-0,7857. Koşum değişkenliği beş abone, kapasitenin kattığı bir abone; etkinleştirmesi doğrusal bırakılan iki katmanlı ağ 113 parametresine karşın tek katmanlının bandından çıkamıyor.
- 02 Etkinleştirme Fonksiyonları Etkinleştirme seçiminin doygunluk, ölü birim ve ilk katmana ulaşan eğim üzerinden ölçülmesi: sigmoidin türevi z=1'de 0,1966 iken z=6'da 0,0025'e iner, oran 79,7; hiperbolik tanjantta oran 17.088. Aynı ağda ilk katmana ulaşan ortalama eğim sigmoitle 1,0456, doğrultulmuş doğrusal birimle 4,4498 — 4,26 kat. Üç etkinleştirme ikişer koşumla: sigmoit 0,7937 ve 0,7976, doğrultulmuş 0,7857 ve 0,7698, hiperbolik tanjant 0,7659 ve 0,7698; taban çizgisi 0,7579. Öğrenme adımı 20'ye çıkarıldığında doğrultulmuş birimlerin dördü, 30'da sekizi de ölüyor ve ortalama türev tam olarak 0,0000 oluyor; sigmoit ile hiperbolik tanjantta hiçbir birim ölmüyor ama ortalama türev 0,1971'den 0,0295'e iniyor.
- 03 İleri Yayılım Ara katmanın genişliğinin iki maliyet sayısı ve bir karşılık sayısıyla ölçülmesi: 12 girdili bir ağda ara katman 2'den 32 birime çıktığında parametre sayısı 29'dan 449'a (15,5 kat), örnek başına çarpma 26'dan 416'ya (16,0 kat), yüz turluk eğitimin toplam çarpması 780.000'den 12.480.000'e büyüyor. Karşılık bunun yanında küçük kalıyor: on koşumun sınama bandı 0,7540-0,7857, yani sekiz abone; her genişliğin iyi koşumları arasındaki fark beş abone ve tek bir genişlikte iki koşum arasındaki en büyük fark da beş abone. Doğrulamadan seçilen genişlik 4 birim, yani 57 parametre, ve o adayın sınama sayısı 0,7540 ile taban çizgisinin altında; ikinci koşumu 0,7738.
- 04 Kayıp Fonksiyonları Kayıp seçiminin ağın gördüğü eğimi ve ulaştığı sayıyı nasıl oynattığının ölçülmesi: ağ 0,99 diyip gerçek etiket 0 olduğunda çapraz düzensizliğin çıkış katmanına verdiği eğim 0,9900, kare hatanınki 0,0196 — oran 50,5. Aynı ağ iki kayıpla dört adayda eğitildiğinde doğrulama kare hatayı ve 25 turu seçiyor; o adayın sınama sayısı 0,7619, ikinci koşumu 0,7897, aradaki fark yedi abone. Kayıp seçiminin kattığı ise üç abone. Eğitim kaybı 0,4861'den 0,3279'a hep düşerken ve eğitim doğruluğu 0,78'den 0,86'ya çıkarken sınama doğruluğu 50. turda 0,7937 ile tepe yapıp 0,7817'ye iniyor; aynı koşumda yakalanan şüpheli 1'den 25'e çıkıyor.
- 05 Geri Yayılım Zincir kuralının ağ üzerinde elle uygulanması ve elde edilen eğimin sayısal türevle doğrulanması: 113 parametrenin tamamında en büyük mutlak fark ilklendirmede 2,193e-10, yüz tur eğitimden sonra 6,441e-11. Adım büyüklüğü 0,001 seçildiğinde eğitilmiş ağda fark 2,518e-01'e fırlıyor; bu bir hesap hatası değil, doğrultulmuş birimin kırığıdır. Maliyet: geri yayılım 113 eğimin hepsini örnek başına bir ileri ve bir geri geçişle çıkarıyor, sayısal türev aynı iş için 4.520 geçiş istiyor ve oran parametre sayısıyla büyüyor: 58, 226, 898. Üçlü değişmiyor — taban çizgisi 0,7579, ağın sayısı 0,7857, ikinci koşum 0,7698.
- 06 Eniyileme Algoritmaları Aynı eğimin üç ayrı adım kuralıyla kullanılması ve düşen kaybın düşen hata anlamına gelmediğinin ölçülmesi: 40 turluk ortak bütçede momentumlu iniş eğitim kaybını 0,2777'ye, uyarlamalı adım 0,2923'e indirir, yalın iniş 0,3296'da kalır; buna karşılık sınama doğrulukları 0,7500, 0,7222 ve 0,7698'dir. Doğrulamadan okunan üç ayarda ağın sayısı 0,7857, aynı ağın ikinci koşumu 0,7698'dir ve taban çizgisi 0,7579. Yalnız ilklendirme değişerek dört koşum yapıldığında tek bir eniyileyicinin sınama açıklığı 0,0317'ye, yani sekiz aboneye çıkar; eniyileyiciler arası fark ise koşuma göre 0,0516 ile 0,0079 arasında oynar ve on iki koşumun hiçbiri doğrusal modelin 0,8016'sını geçmez.
- 07 Eğitim Kararlılığı Eğimin katmanlardan geçerken sönmesinin ve patlamasının sayıyla ölçülmesi: doygun etkinleştirmeyle ilk katmanın eğim büyüklüğü tek gizli katmanda 1,274e-02 iken altı katmanda 5,539e-05'e, yani 232 kat aşağı iner ve son katmana oran 18,8'den 3977,2'ye çıkar; doğrultulmuş doğrusal birimle aynı derinlikte oran 0,7022'de kalır, ilklendirme kazancı 16'ya çıkarıldığında ise 134,99 kat büyür. Öğrenme adımı 10'da üç gizli katmanlı ağın eğim büyüklüğü 2,800e+07'ye fırlıyor, 24 birimin 15'i ölüyor ve iki koşum da tam olarak taban çizgisini, 0,7579'u veriyor. Eğim kırpma 450 güncellemenin 400'ünü kırpıp eğitimi kurtarıyor ama sınama 0,6984'e, tabanın altına düşüyor; kırpma ile çizelge birlikte kaybı 0,2722'ye indiriyor ve koşum farkını 0,0516'ya, on üç aboneye çıkarıyor.
- 08 Düzenlileştirme Ağa özgü iki düzenlileştirme yönteminin katkısının ve erken durdurmanın hangi kümeden okunduğunun ölçülmesi: çıplak ağın eğitim ile sınama arasındaki açığı 0,0887 iken 0,4 oranlı seyreltmede 0,0330'a iner ve sınama 0,7579'dan 0,7937'ye çıkar; aynı ayarın ikinci koşumu 0,7738 verir ve orada çıplak ağ seyreltmeli ağı geçer. Ağırlık cezası M27/K01 ve M27/K03'te süpürülmüştü, burada tek katsayıyla uygulanır ve açığı 0,0702'ye indirir. Erken durdurmada doğrulama kaybı onuncu ve on dördüncü turda dibi görür; durma turu eğitimden okunursa sınama 0,7579 ve 0,7817, doğrulamadan okunursa 0,7698 ve 0,7976, sınamadan okunursa 0,7738 ve 0,8016 çıkar — sınamadan okumanın şişmesi iki koşumda da 0,0040, yani bir abonedir.
- 09 Toplu Normalleştirme Katman girdilerinin küçük toplu içinde ölçeklenmesinin izin verdiği öğrenme adımının ve bunun açtığı sızıntı kaynağının ölçülmesi: normalleştirmesiz ağ öğrenme adımı 20'de kaybı 8,6577'ye taşıyor, 60'ta 16 birimin 14'ünü öldürüp tam olarak taban çizgisini veriyor; normalleştirmeli ağ aynı adımlarda kaybı 0,7206 ve 2,3263'te tutuyor ve hiçbir adımda tek bir birim bile ölmüyor — kaybı 1,0'ın altında tutan en büyük adım 5'ten 20'ye, dört katına çıkıyor. Çıkarım koşum ortalamalarıyla yapıldığında sınama 0,7698, sınama toplusunun kendi istatistiğiyle yapıldığında 0,7937 çıkıyor; şişme 0,0238, yani altı abone. Yalnız sınama satırlarının sırası değiştirildiğinde aynı model 0,7817 veriyor, yedi abone sınıf değiştiriyor ve tek bir abonenin olasılığı 0,2273 oynuyor.