İçeriğe geç
academia.sh
en
Giriş yap

Kurs İleri

Model Değerlendirme, Yorumlanabilirlik ve Etik

Bu kursun sonunda

Kursa başla

01

Değerlendirme Tasarımı

Ölçünün kendisinin tasarlanması ve her sayının hangi alt grup için geçerli olduğunun yazılması: aynı abonenin iki kümeye düşmesinin şişirdiği sayı ile grup temelli ayırmanın bunu geri alması, aynı modelin iki bedel yapısında iki ayrı işletme noktası ve iki ayrı karar vermesi, bir problemde kaç taban bulunduğu ve taban seçiminin aynı modeli iki ayrı biçimde okutması, iki modelin farkının eşleştirilmiş karşılaştırmada bağımsız karşılaştırmadan ne kadar dar bir pay vermesi, eğitim ile üretim dağılımı arasındaki farkın bir sayıya inmesi ve girdi kayması ile etiket kaymasının farklı çözüm istemesi.

  1. 01 Doğrulama Stratejileri Aynı sayının bütünde ve on üç alt grupta ayrı ayrı ölçülmesi ve ayrılmış kümenin gerçekten ayrılmış olup olmadığının sınanması: derinlik 6 karar ağacı sınama kümesinde tabanı 0,0198 geçerken alt grupların beşinde tabanın altında kalıyor ve n değeri 25'in üstündeki on iki alt grup arasındaki açıklık 0,3576 çıkıyor. Aynı abonenin 3.199 satırlık okuma tablosunda iki kümeye birden düşmesi 416 aboneyi paylaştırıyor ve derinlik 12'de tabanın üstündeki farkı 0,0108'den 0,1000'e çıkarıyor; grup temelli ayırma bu 0,0892'lik şişmeyi geri alıyor. Şişme yalnız bütündeki sayıyı değil açıklığı da bozuyor: satır bölmesinde 0,1718 görünen alt grup açıklığı grup temelli ayırmada 0,3846.
  2. 02 Ölçüt Seçimi Aynı modelin iki bedel yapısında iki ayrı işletme noktası ve iki ayrı karar vermesi: denetimin pahalı olduğu yapıda seçilen eşik 0,95 ve 252 abonenin 17'si işaretleniyor, kaçağın pahalı olduğu yapıda eşik 0,25 ve 77'si işaretleniyor; 60 abonenin kararı iki yapı arasında ters dönüyor. Taban çizgisi de bedelle birlikte değişiyor — birinde hiç kimseyi işaretlememek 0,2421, öbüründe herkesi işaretlemek 0,7579. Tek eşiğin alt gruplardaki kazancı +0,4138 ile -0,4468 arasında dağılıyor, açıklık 0,8606, ve on iki alt grubun dördünde model kendi tabanının altında kalıyor; alt gruba özgü eşik seçmek ise sınama bedelini yalnız dördünde düşürüyor.
  3. 03 Temel Model Taban çizgisinin bir araç değil bir tasarım nesnesi olduğunun ölçülmesi: aynı derinlik 6 karar ağacı sekiz ayrı taban adayına karşı -0,0119 ile +0,5357 arasında okunuyor ve seçim tek başına 0,5476 oynatıyor. Arama tablosu tabanı kendi kapasitesine sahiptir — beş hücrede 0,7579, on beş hücrede 0,7897 ile modeli geçiyor, otuz dokuz hücrede 0,7500'e düşüyor. Taban seçimi alt gruplarda da yön değiştiriyor: en sık sınıfa göre on iki alt grubun dördünde tabanın altında kalan model, bölge ve basamak arama tablosuna göre sekizinde altında kalıyor ve fark açıklığı 0,2173'ten 0,1351'e iniyor. M27'nin yedi kursunda seçilmiş taban çizgileri tek tabloda toplanıyor.
  4. 04 İstatistiksel Anlamlılık İki modelin farkının payının ölçülmesi ve eşleştirilmiş karşılaştırmanın bağımsız karşılaştırmadan ne kadar dar bir pay verdiğinin sayılması: derinlik 6 karar ağacının dört rakibiyle arasındaki farkların hepsinin payı sıfırı içeriyor ve yalnız 0,5357'lik fark dışarıda bırakıyor. Aynı 252 abonede eşleştirilmiş pay 0,0476 ile 0,0794 arasında, bağımsız pay 0,1190 ile 0,1310 arasında; iki model ne kadar çok anlaşırsa pay o kadar daralıyor. Küme 63'ten 504'e çıkarken eşleştirilmiş pay 0,1111'den 0,0556'ya iniyor. Alt gruplarda on üç farkın yalnız dördünün payı sıfırı dışarıda bırakıyor ve kursun en büyük alt grup katkısı olan +0,1389 bunlardan biri değil.
  5. 05 Dağılım Kayması Eğitim ile üretim verisi arasındaki farkın tek bir sayıya indirilmesi ve bu sayının başarım düşüşüyle yan yana konması: ayırt edici bir model girdi kaymasında 0,1172'lik pay veriyor ve modelin tabanın üstündeki farkı 0,0198'den 0,0066'ya iniyor, ama etiket kaymasında aynı gösterge 0,0063'te kalırken şüpheli oranı 0,2421'den 0,4865'e çıkıyor. İki kayma iki ayrı çözüm istiyor: önsel düzeltmesi etiket kaymasında doğruluğu 0,6306'dan 0,6622'ye çıkarırken girdi kaymasında hiçbir kararı değiştirmiyor, girdi dağılımına göre yeniden eğitim ise girdi kaymasında 0,7318'i 0,7384'e çıkarıp etiket kaymasında 0,6261'e düşürüyor. Zaman sıralı üretim kümesinde alt grup açıklığı 0,3576'dan 0,2573'e iniyor ve on iki alt grubun hiçbirinde model tabanın altında kalmıyor.

02

Yorumlanabilirlik

Modelin sayıyı neye dayanarak ürettiğinin okunabilir olup olmadığının ölçülmesi: bir kararla ilgili sorulabilecek sorulardan kaçının çıktıyla, kaçının bir açıklamayla cevaplandığı, modelden okunan önem sırasıyla bozarak ölçülen sıranın kaç sırada ayrıştığı ve ilişkili iki özniteliğin önemi nasıl bölüştüğü, yerel vekil modelin asıl modelin kararını kaç örnekte doğru anlattığı ve aynı örneğe iki yöntemin iki ayrı açıklama vermesi, kısmi bağımlılığın bütünde düz görünürken iki alt grupta ters yönde eğimli olması, kural listesi uzadıkça doğruluğun nereye geldiği ve hangi alt grupta en iyi aileye yaklaşılamadığı.

  1. 01 Yorumlanabilirlik İhtiyacı Bir karar hakkında sorulabilecek on iki sorunun kaçının modelin çıktısıyla, kaçının bir açıklamayla, kaçının hiçbiriyle kapanmadığının sayılması: çıktı tek başına 4 soruyu kapatıyor, açıklama ortalamada 8,58'e çıkarıyor, üç soru hiçbir açıklamayla kapanmıyor. Kararın döndüğü tek adımlık değişim sınama kümesinin 159 abonesinde bulunuyor, batı bölgesinde otuz iki abonenin ikisinde bulunuyor; on üç alt grupta kapanan soru sayısı en iyi 8,89 ile en kötü 7,25 arasında değişiyor ve açıklık 1,64 sorudur.
  2. 02 Öznitelik Önemi Aynı model üzerinde iki küresel önem sıralamasının yan yana ölçülmesi: katsayılardan okunan sıra ile sütunu bozarak ölçülen sıra on iki sütunun onunda ayrışıyor ve en büyük kayma beş sıradır. Oynaklık katsayı sırasında üçüncü, bozma sırasında sekizincidir. İlişkili iki sütun önemi bölüşüyor: kişi başına tüketimin önemi tam modelde 0,0018, ortalama tüketim çıkarılıp model yeniden eğitildiğinde 0,0387'ye çıkıyor. On üç alt grupta ölçülen en önemli sütunun kayıp artışı 0,0162 ile 0,1882 arasında değişiyor ve bir alt grupta ilk sıra değişiyor.
  3. 03 Yerel Açıklama Yöntemleri Tek bir tahmini açıklayan iki yöntemin aynı abonelere sorulması ve açıklamanın sadakatinin ölçülmesi: yerel vekil model komşuluktaki kararların ortalama 0,9417'sini doğru veriyor, ama 252 abonenin 41'inde komşuluk tek etiket taşıdığı için açıklama boş çıkıyor. Vekil modelle katkı payı dağıtımı 211 dolu açıklamanın 145'inde ayrı sütun gösteriyor. Sadakat batı bölgesinde 0,9664 ile en yüksek, orada boş açıklama oranı 0,4688; en düşük sadakat 0,9027 ile en üst tarife basamağındadır ve açıklık 0,0637'dir.
  4. 04 Kısmi Bağımlılık ve Etkileşim Bir sütunun modele bütün olarak ne yaptığının sayı olarak basılması ve ortalamanın ne gizlediğinin sayılması: karar ağacında beş sütunun üçü bütünde düz görünüyor, bunların ikisinde alt gruplar ters yönde eğimli. Hane büyüklüğünün kısmi bağımlılığı bütünde -0,0069 ile düzdür, üçüncü tarife basamağında +0,1301, doğu bölgesinde -0,1891 ve açıklık 0,3192'dir. Memnuniyette açıklık 0,2189'dur. Okuma sayısı hem bütünde hem on iki alt grupta tam olarak 0,0000 eğimlidir: düz görünen her sayı bir etkileşim gizlemiyor.
  5. 05 Doğası Gereği Yorumlanabilir Modeller Açıklamayı sonradan üretmek yerine modeli baştan okunabilir kurmanın bedelinin ölçülmesi: iki kurallık, dört koşullu bir sıralı liste sınamada 0,7897 veriyor, otuz üç sütunlu en iyi ailenin 0,8056'sına 0,0159 yani dört abone kalıyor. Listeyi üç ve dört kurala uzatmak yaklaştırmıyor, 0,7857'ye geri düşürüyor. On üç alt gruba bakıldı, okunan on ikisinin altısında en iyi aileye 0,02 içinde yaklaşılamıyor; en uzağı merkez bölgesidir, 0,7414 yerine 0,6552 ve fark 0,0862. Üç alt grupta kural listesi en iyi aileyi geçiyor.

03

Etik ve Sorumluluk

Ölçüsü iyi çıkan bir sistemin kime zarar verdiğinin sayılması: veri, etiket ve dağıtım yanlılığının ayrı ayrı ölçülmesi ve üçünün aynı sayıya farklı yollardan vurması, oran eşitliği, yakalama eşitliği ve isabet eşitliğinin aynı anda sağlanamaması ile birini düzeltmenin öbürünü ne kadar bozduğu, tek bir kaydın eklenip çıkarılmasının çıktıyı ne kadar oynattığı ve gürültü düzeyi süpürüldükçe doğruluktan gidenle duyarlılıktan düşenin yan yana okunması, kimliksizleştirmenin tek başına yetmemesi, bir modeli devralan kişinin sorularından kaçının belgeyle cevaplandığı, sabitlenmemiş tek kalemin oynattığı sayı ve müfredat boyunca biriken toplam kalem sayısı.

  1. 01 Yanlılık Kaynakları Aynı zararın üç ayrı yerde doğduğunun ayrı ayrı sayılması: on üç alt grupta ölçülen doğrusal model bütünde 0,8194 doğruluk ve 0,3704 duyarlılık verirken az okuması olan abonelerde duyarlılık 0,2222'de kalıyor. Tabloya hiç girmeyen 69 abone yüzünden az okumalıların payı 0,3695 yerine 0,3349 okunuyor; yalnız tam okumalılardan kurulan eğitim kümesi o alt grupta kesinliği 0,5455'ten 0,3774'e indiriyor, kayda geçmeyen 19 şüpheli duyarlılığı 0,0370'e düşürüyor, kırk ziyaretlik kapasite ise aynı alt gruba 0,0359 oranında uygulanıp duyarlılığı 0,1111'de bırakıyor. Üçünde de bütündeki doğruluk en çok 0,0337 oynuyor.
  2. 02 Adalet Ölçütleri Üç adalet ölçütünün aynı anda sağlanamadığının sayılması: taban oranı 0,4578 olan doğu bölgesi ile 0,1663 olan diğer dört bölge arasında tek eşikte oran açıklığı 0,3984, yakalama açıklığı 0,4842, isabet açıklığı 0,1242. Aynı sayıda abone işaretlenirken eşik çiftini oran eşitliğine ayarlamak isabet açıklığını 0,4800'e, yakalama eşitliğine ayarlamak 0,4262'ye, isabet eşitliğine ayarlamak ise yakalama açıklığını 0,7038'e çıkarıyor. Seçilme oranının duyarlılık ile taban oranın çarpımının kesinliğe bölümü olduğu kimliği doğrulanıyor ve iki ölçüt eşitlendiğinde seçilme oranlarının oranının taban oranların oranı olan 2,7535'e kilitlendiği gösteriliyor; kapasite sabitken üçünü birlikte veren eşik çifti yok, en iyi deneme 0,2727 açıklık bırakıyor.
  3. 03 Mahremiyet Koruyan Öğrenme Modelin kendi eğitim kayıtları hakkında ne söylediğinin savunma tarafından sayılması: abone numarası silinmiş 1.260 satırlık tabloda dört alt grup ekseni 72 birleşim üretiyor ve 6 kayıt tek başına kalıyor, altıncı alan eklendiğinde bu sayı 1.242'ye, yani 0,9857'ye çıkıyor. Tek bir eğitim kaydının çıkarılması doğrusal modelin çıktısını en çok 0,0313 oynatıyor ve iki tahmini değiştiriyor; aynı kayıt hücre tablosuna dayanan modelde çıktıyı 0,7778 oynatıyor ve 14 tahmini değiştiriyor, çünkü 66 hücrenin 13'ünde tek bir kayıt var. Gürültü on düzeyde süpürüldüğünde doğrusal modelin izini örtmek 0,04 gürültü ve 0,0022 doğruluk istiyor, hücre modelininki 0,80 gürültü ve tabanın 0,1669 altına düşmek istiyor.
  4. 04 Model Belgeleme Modeli devralan kişinin sorularından kaçının yazılı beyanla kapandığının sayılması: aynı model sınama kümesinde bütünde 0,7778 doğruluk ve taban çizgisinin 0,0198 üstünü verirken, dört eksende kurulan 14 alt grubun ölçülebilen 12'sinde en iyi 0,9688 ve en kötü 0,6111 okunuyor, alt grup açıklığı 0,3576 ve üç alt grup kendi tabanının altında kalıyor. Yirmi iki soruluk devir soru kümesinden yalnız bütünde ölçülen sayıyı taşıyan beyan 5'ini, alt grup tablosunu ekleyen beyan 12'sini, kullanım sınırını da yazan beyan 18'ini kapatıyor; kalan 4 soru hiçbir sürümde kapanmıyor çünkü hiçbiri bir ölçüm sorusu değil. Beş kullanım kararında ilk sürüm 4, ikincisi 1 yanlış karar ürettiriyor, üçüncüsü ölçülmeyen alt grup için bilinmiyor diyebildiği için hiç yanlış karar ürettirmiyor.
  5. 05 Yeniden Üretilebilirlik Aynı sayının ikinci kez üretilmesi için sabitlenmesi gereken kalemin sayılması ve sabitlenmemiş tek kalemin ne kadar oynattığı: değerlendirmenin kendi 9 kaleminin 6'sı tek başına sınama sayısını oynatıyor, en büyük oynama 0,0370 ile 7 abone; aynı kalemlerin 8'i alt grup açıklığını oynatıyor ve en büyük oynama 0,0989 ile bütünde okunanın 2,7 katı. Alt grup en az boyu serbest bırakıldığında iki başlık sayısı da hiç değişmiyor ama ölçülen alt grup 12'den 11'e iniyor. M26/K03'ün 39, M26/K04'ün 9, M26/K06'nın 11, M27/K02'nin 4 ve M27/K05'in 8 kaleminin üstüne değerlendirmenin 9 kalemi eklenir ve M27'nin tam listesi 80 olur. Kurs kapanışı on beş dersi bütünde ve en kötü alt grupta, müfredat kapanışı M27'nin sekiz kursunu ve 121 dersini tek tabloda toplar.

Aramak için yazmaya başlayın.

↑↓ ↵ Esc gezin · aç · kapat