Ünite 03 / 03
Ajan Kalitesi
Kurulmuş bir ajanın çalıştığının nereden bilindiğinin ölçülmesi: doğru dizi ile doğru yanıtın dört durumlu tablosu ve yanlış diziyle üretilen doğru yanıtın ayrı sayılması, doğru yanıt başına adım olarak okunan adım verimliliği, beş araca konan kusurların araç düzeyi sınamayla yakalanan payı ve hiç görülemeyen kusur sınıfı, uçtan uca akış sınamasının araç düzeyinin kaçırdığından yakaladığı ile iki katmanın da yakalayamadığı kalıntı, yalnız sonuç, araç adları ve tam gözlem iz düzeylerinde başarısız bir görevin nedeninin bulunabildiği pay ile saklanan belirteç, adım başına maliyet ile doğru yanıt başına maliyetin sıralamayı ayırdığı nokta, durdur, aynı aracı yeniden dene ve başka araca geç kurtarma politikalarının başarım, adım ve araç hatası olarak karşılaştırılması.
Yayın Güncelleme
Dersler
- 01 Görev Başarımı ve Adım Verimliliğinin Ayrı Ölçülmesi Tek bir başarım oranının dört ayrı durumu üst üste yığdığının adım üzerinde gösterilmesi: yirmi dört görevlik kurgu kümede araçsız tek adımlı taban 0,2917 çıkıyor ve bu oranın tamamı yanlış dizi ile doğru yanıt kutusunda, çünkü yedi belge görevinin hepsi hiçbir araç çağrılmadan yanıtlanıyor. Dar bütçede döngü 0,8750, kurs bütçesinde 0,9583 veriyor; kurs bütçesinde tek başarısızlık doğru dizi ile yanlış yanıt kutusunda ve dizisi eksiksiz tamamlanmış bir görevin arada kalan fazla bir çağrıyla bozulmasından geliyor. Doğru yanıt başına adım tabanda 3,4286, kurs bütçesinde 4,2174 çıkıyor, yani verimlilik tek başına okunduğunda hiçbir aracı çağırmayan tabanı kazandırıyor; araç gerektiren on yedi görevde taban sıfır doğru yanıt veriyor. İki koşum farkı tabanda 0,0000, dar bütçede 0,0417. 11 dk okuma
- 02 Her Aracın Döngüden Ayrı Sınanması Beş araca konan on bir kurgu kusurun araç düzeyi sınamayla ne kadarının yakalandığının sayılması: on bir durumluk sınama kümesi değer kusurlarının dördünü de, sözleşme kusurlarının üçünü de düşürüyor, ama tanım kusurlarının dördünde de tertemiz geçiyor. Toplam yakalama 0,6364, sınıf bazında 1,0000 ve 1,0000 ile 0,0000. Görünmeyen sınıfın mekanizması yazılıdır: sınama kümesi aracın işlevini doğrudan çağırır, döngü ise aracın bildirdiği alan listesinden geçer ve tanım kusuru yalnız o listede durur. Katmanın karşılığı koşumdan bağımsızlıktır: aynı görev kümesinde döngünün düşen senaryosu tohum değişince G23'ten G15'e kayarken, sınama kümesinin düşen durum kümesi iki koşumda da boş ve aynıdır. 5 dk okuma
- 03 Senaryo Temelli Uçtan Uca Doğrulama İki sınama katmanının yakaladığı kusur kümelerinin yan yana sayılması: yirmi dört senaryoluk uçtan uca akış sınaması, araç düzeyi sınamanın hiç göremediği dört tanım kusurunun üçünü yakalıyor ve toplamda on bir kusurun beşini düşürüyor. Araç düzeyi katman yediyi yakalıyor, iki katmanın kesişimi iki, birleşimi on bir kusurda on yani 0,9091. Kaçırmanın iki ayrı nedeni ateşleme sayısıyla ayrılıyor: D2, D4 ve D11 döngü boyunca bir kez bile ateşlemiyor; D5, D6 ve D7 ateşliyor ama senaryo sonucu değişmiyor. Kalıntı D11, işlevi doğru olduğu hâlde tanımında kullanılmayan bir alan bildiren kusurdur ve hiçbir koşum onu göremez. Kusursuz tabanda düşen senaryo iki koşumda G23 ve G15. 8 dk okuma
- 04 İzleme ve Günlükleme Üretimde koşan bir ajan döngüsünün adım izinin neyi geri okuttuğunun ölçülmesi: yirmi dört görevin on koşumundan oluşan iki yüz kırk koşumluk akışta on beş görev yanlış bitiyor ve nedenleri on iki yanlış seçim ile üç dolaşmadan oluşuyor. Yalnız sonucu saklayan iz bu nedenlerin 0,0000'ini, araç adlarını sayan iz 0,4000'ini, tam gözlemi saklayan iz 1,0000'ini veriyor; saklanan belirteç 2738'den 5954'e ve 13623'e çıkıyor, bulunan neden başına belirteç ise 992,3'ten 908,2'ye iniyor. Altmış bir araç hatasının 0,8689'u doğru biten koşumlarda oluşuyor, yani araç hatası sayacı bir neden değil bir belirtidir. 8 dk okuma
- 05 Maliyet ve Gecikme Denetimi Bir ajan döngüsünün harcamasının iki ayrı paydayla okunması: tek adımlı araçsız çağrı adım başına 90,00 maliyet birimiyle en ucuzudur ama başarımı 0,0000 olduğu için doğru yanıt başına maliyeti tanımsızdır. Büyük ve küçük model sınıfı üç adım bütçesiyle koşturulduğunda küçük sınıf adım başına 79,25 ile büyük sınıfın 118,30'unun altında kalırken doğru yanıt başına 488,0 ile onun 453,5'inin üstüne çıkıyor. İki sıralamanın ayrıştığı bant birim fiyat oranıyla verilir: adım başına eşitlenme 0,8957, doğru yanıt başına eşitlenme 0,5576, arada kalan her fiyat oranında iki ölçüt ters yanıt verir. Gecikme sınıf olarak yazılır ve en uzun koşumdan okunur; ham süre ölçülmez. 6 dk okuma
- 06 Hata Kurtarma Başarısız bir araç çağrısının döngüye ne yaptığının üç kurtarma politikasıyla ölçülmesi: iki yüz kırk koşumluk üretim akışında ilk hatada durmak 0,7500 görev başarımı, 727 adım, 53 araç hatası ve 81996 belirteç veriyor; aynı aracı yeniden denemek başarımı 0,9375'e çıkarıyor ve adımı 900'e, hatayı 61'e, belirteci 106352'ye taşıyor. Başarısız aracı bırakıp başkasına geçmek beklenenin tersini yapıyor: araç hatası 64'e, adım 907'ye çıkıyor ve başarım 0,8917'ye düşüyor. Durdurmanın kazandırdığı adım verimliliği iki koşum bandının içinde kalıyor. Ders M28/K05 kursunun kapanışıdır ve yirmi iki dersin düzeneksiz ile düzenekli sayılarını tek tabloda toplar. 10 dk okuma