Ünite 03 / 03
Değerlendirme ve Ayar
Modelin sayısının hangi ölçüden, hangi eşikten ve kaç adaydan çıktığının ayrılması: aynı doğruluğu veren iki modelin farklı hata dağılımı ve iki hata türünün farklı bedeli, doğruluk, kesinlik, duyarlılık ve F1'de sıralamanın değişmesi, eşik süpürüldükçe kesinlik ile duyarlılığın karşılıklı hareketi ve dengesiz kümede hangi eğrinin yanıltıcı olduğu, söylenen olasılık ile gerçekleşen oran arasındaki fark ve sıralaması iyi kalibrasyonu kötü modelin varlığı, ortalama mutlak hata, ortalama kare hata ve açıklanan değişim oranının aynı sıralamayı vermemesi, kat sayısı büyüdükçe kestirimin oynaması ve eğitim sayısının artması, aynı bütçeyle üç aramanın bulduğu en iyi aday ile bütçe büyüdükçe şişen doğrulama sayısı, hatanın yoğunlaştığı dilim ve dilim çoğaldıkça rastlantıyla büyüyen kötü dilim sayısı.
Yayın Güncelleme
Dersler
- 01 Karışıklık Matrisi Aynı doğruluğu veren iki modelin hata dağılımının ayrılması: kırk dokuz aday arasında on dört doğruluk değeri birden çok aday tarafından paylaşılır, 0,7817 veren iki aday 61 şüpheliden birinde 16'sını diğerinde 32'sini yakalar ve işaretlenen abone sayısı 26 ile 58 arasında değişir. Saha ziyareti 1, kaçırılan kaçak 6 birim sayıldığında bedel 296 ile 232 olur, taban çizgisinin bedeli 366'dır ve herkesi şüpheli demek 252 ile taban çizgisinden ucuzdur. Doğrulukta en iyi aday bedelde 263 verirken bedelde en iyi aday doğrulukta kırk dokuz aday içinde yirminci sıradadır. 11 dk okuma
- 02 Sınıflandırma Ölçütleri Karışıklık matrisinden türeyen dört ölçütün beş modeli farklı sıralaması: doğrulukta birinci olan model kesinlikte ikinci, duyarlılıkta ve F1 ölçütünde dördüncü olur, dört ölçütte üç ayrı model başa geçer ve doğruluk ile F1 arasında on model çiftinin yedisi yer değiştirir. Taban çizgisi hiçbir aboneyi işaretlemediği için kesinliği tanımsızdır, duyarlılığı ve F1 ölçütü sıfırdır. Kesinliği 1,0000 duyarlılığı 0,0164 olan bir yordamın sıradan ortalaması 0,5082 iken F1 ölçütü 0,0323'tür ve aradaki fark 0,4759'a çıkar. 11 dk okuma
- 03 Eşik Seçimi ve Eğriler Eşiğin oynattığı iki sayının ve eğri altındaki alanın ayrılması: eşik 0,10'dan 0,90'a çıkarken kesinlik 0,3608'den 1,0000'e yükselir, duyarlılık 0,9344'ten 0,0328'e iner ve bedel 182'den 356'ya çıkar. Doksan dokuz eşik adayı arasından doğrulama kümesiyle seçilen 0,16 sınama kümesinde 181 bedel verir, varsayılan 0,50 eşiğinden 86 birim ucuzdur ve sınamadan okunsaydı 7 birim daha iyi görünürdü. Şüpheli oranı 0,2421'den 0,0354'e indirilince işlem karakteristiği eğrisinin altındaki alan 0,8058'den 0,8624'e çıkarken kesinlik–duyarlılık eğrisininki 0,6212'den 0,4124'e iner. 9 dk okuma
- 04 Olasılık Kalibrasyonu Söylenen olasılık ile gerçekleşen oran arasındaki farkın ölçülmesi: doğrusal modelin kalibrasyon hatası 0,0242, sıralaması ona tıpatıp eşit olan keskinleştirilmiş skorunki 0,1512'dir ve iki modelin eğri altındaki alanı da 0,8058'dir. Derinlik 8 ağacın eğitim kümesindeki kalibrasyon hatası tanım gereği 0,0000, sınama kümesinde 0,1435'tir; eğitimden öğrenilen düzeltme eşlemesi birim eşlemeye yakınsar ve hiçbir şey düzeltmez. Doğrulama kümesinden öğrenilen tek değişkenli eşleme keskinleştirilmiş skorun hatasını 0,1512'den 0,0463'e indirir ve eğri altındaki alanı 0,8058'de bırakır. 4 dk okuma
- 05 Bağlanım Ölçütleri Hedef bir sayı olduğunda ölçütün sayımdan uzaklığa geçmesi ve aynı ailenin iki üyesinin üç ölçütte yer değiştirmesi: kare hataya uydurulmuş doğrusal model ortalama kare hatada 22,3164 ile önde, mutlak hataya uydurulmuş olan ortalama mutlak hatada 3,6178 ile önde. Taban çizgisi eğitim ortalamasıdır (19,7665 m³) ve açıklanan değişim oranı tam olarak bu tabana göre tanımlıdır. Sınama kümesinin 13 satırı kare hatanın yüzde 37,59'unu, mutlak hatanın yüzde 17,71'ini taşır; o 13 satır kırpıldığında sıralama iki ölçütte de tersine döner. Denenen aday sayısı üçtür ve hiçbir ayar değişkeni süpürülmemiştir. 8 dk okuma
- 06 Çapraz Doğrulama Kat sayısının kendisinin ölçülmesi: k 2'den 10'a süpürüldüğünde kestirimin ortalaması 0,8115 ile 0,8204 arasında kalır, sınama kümesindeki gerçek sayı 0,8056'dır ve gerçeğe en yakın kestirimi k=4 verir. Tek çıkarmalı doğrulama 0,8175 veriyor, gerçekten 0,0119 uzakta, ama bunun için 1.008 eğitim ve 1.015.056 satır işliyor — k=10'un 111,89 katı. Kat başına saçılması 0,3863'tür ve bu sayı belirsizlik değil, tek satırlık katın doğru/yanlış saçılmasıdır; 1.008 kattan hiçbiri iki sınıf birden içermediği için kesinlik ve duyarlılık kat başına hesaplanamaz. Buna karşılık tek çıkarmalı doğrulamanın karıştırmaya bağlılığı tam sıfırdır. 10 dk okuma
- 07 Ayar Değişkeni Araması Kursun kuralının ödendiği ders: aynı 50 adaylık bütçeyle ızgara, rastgele ve model temelli aramanın bulduğu en iyi aday ve o adayın sınama kümesindeki sayısı yan yana basılır. Aday sayısı 1'den 200'e çıkarken doğrulama kümesindeki en iyi sayı 0,7937'den 0,8452'ye tırmanıyor, aynı adayın sınama kümesindeki sayısı 0,7778'den 0,7976'ya gidiyor ve aradaki şişme +0,0159'dan +0,0476'ya açılıyor. Ayarsız varsayılan aday doğrulama kümesinde zaten 0,8452 veriyor, yani 200 aday hiçbir şey bulmadı. Bütçe 50 ve 200'de tek bölmeli karar kuralı doğrusal modeli sınama kümesinde geçiyor: aile farkı −0,0159 ve −0,0040 iken bütçenin şişirdiği fark +0,0516 ve +0,0476. 11 dk okuma
- 08 Hata Çözümlemesi Sınama kümesindeki 51 hatanın bölge, tarife basamağı, hane büyüklüğü ve okuma sayısına göre kırılması: on dört ölçülebilir dilimin ikisinde model taban çizgisinin altında kalıyor ve merkez bölgesi satırların yüzde 23'ünü tutarken hataların yüzde 35,3'ünü taşıyor. Dilim sayısı 14'ten 41'e, 41'den 50'ye çıkarken bulunan kötü dilim sayısı 2'den 6'ya, 6'dan 9'a çıkıyor — ama aynı hatalar satırlara rastgele dağıtıldığında ortalama 4,41, 14,26 ve 18,46 kötü dilim çıkıyor, yani gözlenen sayı her üç kümede de rastlantının altında. Kurs kapanışı yirmi dersin ailesini, aday sayısını ve taban çizgisi üstünü tek tabloda toplar. 10 dk okuma