Ünite 03 / 03
Değerlendirme ve İzleme
Kurulan savunmanın çalıştığının nereden bilindiğinin ve üretimde nasıl izlendiğinin ölçülmesi: aynı savunmanın temsili, zararlı ağırlıklı ve sınırda örnek ağırlıklı üç kümede üç ayrı sayı vermesi ve kümenin çözünürlüğünün yazılması, model hakemin insan etiketiyle uyumu ile hakemin kendi iki koşum farkının ölçüt temelli yaklaşımla yan yana okunması, değerlendiriciler arası uyumun ölçek ve yönergeyle değişmesi ve uyumsuzluğun hangi sınıfta yoğunlaştığı, istem ve model değişikliklerinin oynattığı sayının koşum bandıyla karşılaştırılması ve hangisinin ölçülemez kaldığı, üç üretim göstergesinin bir bozulmayı kaç kayıt sonra göstermesi, engellenen kullanıcının sinyal verememesi yüzünden geri bildirim döngüsünün yanlış alarmı olduğundan küçük göstermesi, bir sistem kartının taşıdığı ve taşımadığı ölçüler ile taşımadığı her ölçünün bir iddia olarak kalması.
Yayın Güncelleme
Dersler
- 01 Değerlendirme Kümesi Tasarımı Bir savunmanın sayısının kümenin bileşimiyle birlikte okunması: aynı kural süzgeci hiç değişmeden üç ayrı kümede üç ayrı sayı veriyor. Temsili kümede kesinlik 0,7629, zararlı ağırlıklı kümede 0,9136, sınırda örnek kümesinde 0,4444 çıkıyor; ilk iki kümede duyarlılık birebir aynı kalıyor çünkü zararlı alt küme hiç değişmedi. Sınırda örnek kümesinde duyarlılık 0,7957'den 0,6400'e iniyor ve yanlış engelleme payı 0,7143'e çıkıyor. Kümenin çözünürlüğü de yazılıyor: duyarlılığın adımı temsili kümede 0,0108, sınırda örnek kümesinde 0,0400 ve bu adımdan küçük hiçbir fark ölçülemez. 10 dk okuma
- 02 Otomatik Değerlendirme Bir kaydın zararlı olduğunu kimin söylediğinin iki yolla ölçülmesi: yapısal ölçüt yazmak ve bir dil modeline sormak. Ölçüt temelli yaklaşım 0,7629 kesinlik, 0,7957 duyarlılık ve insan etiketiyle 0,8250 uyum veriyor, hiçbir çağrı yapmıyor ve iki koşumda birebir aynı sayıyı basıyor. Model hakem 0,7876 kesinlik, 0,9570 duyarlılık ve 0,8833 uyum veriyor; kazancın tamamı ölçütlerin hiç bakmadığı bozulmuş girdi sınıfından geliyor (0,2632'ye karşı 1,0000). Bedel 246 çağrı, 10779 giriş belirteci ve hakemin kendi belirsizliğidir: iki koşum arasında 16 kayıtta karar değişiyor, duyarlılık üç adım oynuyor ve iki yaklaşımın yanlış engelleme farkı bu bandın çok altında kalıyor. 11 dk okuma
- 03 İnsan Değerlendirmesi Bir önceki dersin dayandığı insan etiketinin kendisinin ölçülmesi: aynı bayrak listesine bakan üç kurgu değerlendirici iki değerli ölçekte 0,8417, üç değerli ölçekte 0,7583, örnekli yönergede 0,9306 uyum veriyor. Örnekli yönerge uyumu yirmi bir adım yükseltiyor ama çoğunluk etiketinin gerçek sınıfla örtüşmesi 0,8417'de kalıyor ve oybirliğinin doğruluğu 0,9126'dan 0,8744'e iniyor. Uyumsuzluk zararlı sınıflarda ve tam bir bayrak taşıyan kayıtlarda toplanıyor: bozulmuş girdide 0,7368, bayraksız kayıtlarda 0,0000. Aynı kural süzgeci çoğunluk etiketine karşı ölçüldüğünde duyarlılığı 1,0000 çıkıyor, çünkü etiket sütunu süzgecin kör noktasını paylaşıyor. 12 dk okuma
- 04 Gerileme Testi Sabit bir değerlendirme kümesi karşısında dört değişikliğin ölçülmesi ve her farkın koşum bandıyla karşılaştırılması. Aynı sistem iki tohumda 0,0323 duyarlılık, 0,0340 yanlış engelleme bandı veriyor; yönergenin aynı anlamda yeniden yazılması bu bandın altında kalıyor ve ölçülemez sayılıyor. Biçim kısıtının kaldırılması duyarlılığı 0,7742'ye indiriyor ama yanlış engelleme payını hiç oynatmıyor. Modelin iz tablosundan bir kaydın eksilmesi kesinliği yükseltip yanlış engellemeyi düşürüyor ve tek kanıtı sınıf dökümünde kalıyor: bozulmuş girdi duyarlılığı 1,0000'dan 0,7895'e iniyor, hiçbir hata üretmeden. 12 dk okuma
- 05 Üretim İzleme Kurulu bir savunmanın üretimde bozulduğunu üç göstergenin kaç kayıt sonra gösterdiğinin ölçülmesi: altı yüz kayıtlık kurgu akışta savunmasız taban 0 engelleme, 0 yanlış alarm ve 120 kaçan zararlı verirken eşik 0,50 kurulumu 95 kaydı engelliyor, 11'i yanlış alarm ve 36 zararlı kaçıyor. Üç yüz birinci kayıttan sonra iki ayrı bozulma başlatılıyor: trafik kayması kaçan zararlıyı 36'dan 84'e çıkarıyor, sessiz eşik değişikliği yanlış alarmı 11'den 27'ye. Kaçan zararlı vekili dalgayı 20 kayıt sonra bildiriyor ama eşik kaymasını hiç bildirmiyor, engelleme payı eşiği 29 kayıt sonra görüyor, etiket gerektiren yanlış alarm payı iki koşumda 45 ve 220 kayıt veriyor. Hiçbir gösterge iki bozulmayı birden yakalamıyor. 7 dk okuma
- 06 Geri Bildirim Döngüsü Kullanıcı sinyalinin değerlendirmeye döndüğünde niçin yanlı döndüğünün ölçülmesi: eşik 0,50 kurulumunda 74 kayıt engelleniyor, 8'i yanlış alarm ve 27 zararlı kaçıyor; kaçan zararlının 0,6296'sı şikâyet üretiyor ama yanlış alarmın kapsanan payı itiraz kanalı kapalıyken 0,0000, dar bir itiraz kanalıyla 0,3750'dir ve gelen altı itirazın yalnız üçü gerçek yanlış alarmdır. Sinyalden okunan iki sayıyla beş tur ayarlanan eşik 0,50'den 0,30'a iniyor: yanlış alarm 8'den 27'ye, yanlış engelleme payı 0,0544'ten 0,1837'ye çıkıyor, duyarlılık 0,7097'den 0,9032'ye yükseliyor ve döngü yalnız ikincisini görüyor. Toplam hata 35'ten 36'ya gidiyor, yani döngü hatayı azaltmıyor, kimin ödediğini değiştiriyor. 10 dk okuma
- 07 Sorumlu Yayımlama Yayımlanan sayının kapsadığının ve kapsamadığının ölçülmesi: eşik 0,50 kurulumu tek bir duyarlılık sayısı yayımlıyor (0,7097) ama sınıf başına okunduğunda aynı savunma 0,9583 ile 0,2105 arasında dağılıyor ve yayımlanan sayı ile en zayıf sınıf arasındaki fark 0,4992 çıkıyor. Dokuz taahhüt üç sınıfta toplanıyor — kullanım sınırı, şeffaflık kalemi ve kötüye kullanım planı — ve dar bir sistem kartı bunların 2'sini sayıya bağlıyor, geniş kart 6'sını; kalan 3 taahhüt hiçbir kartla karşılanmıyor ve iddia olarak kalıyor. Ders M28/K07 kursunun ve M28 müfredatının kapanışıdır: yirmi bir dersin savunmasız tabanı, savunmalı kurulumu ve bedeli tek tabloda toplanır. 5 dk okuma