İçeriğe geç
academia.sh
en
Giriş yap

Kurs İleri

Model İzleme ve Yönetişim

Bu kursun sonunda

Kursa başla

01

İzleme

Üretimdeki bir modelin bozulup bozulmadığının hangi ölçüyle ve kaç dönem sonra görüldüğünün sayılması: girdi dağılımı dönem başına büyürken girdi özetinin 25,9220'den 27,0472'ye çıkması ve hiçbir uyarı bandında ateşlememesi, aynı kaymada tahmin payının 0,4550'den 0,5450'ye çıkıp 0,05 bandında üç dönem ateşlemesine karşın isabetin 0,9700'den 0,9800'e giderek hiç düşmemesi, kural değiştiğinde girdi özetinin hiç değişmemesi ve tahmin payı neredeyse sabit kalırken isabetin 0,9700'den 0,8150'ye çökmesi, gecikmeli etiket yüzünden bir dönemin isabetinin ancak iki dönem sonra bilinmesi ve bozulmanın olduğu an ile görüldüğü an arasındaki iki dönemlik boşluk, etiket yokken kullanılan vekil ölçütlerin zararsız kaymada ateşleyip zararlı kaymada susması, uyarı bandı daraldıkça artan ateşleme sayısı ile bunların kaçının gerçek bozulmaya karşılık geldiği, üretimden etiket toplamanın kapsadığı pay ve toplanan etiketin yanlılığı.

  1. 01 Veri Kayması Üretimdeki girdi dağılımının değişmesinin ölçülmesi ve izlenebilir bir modelin üç koşulunun kurulması: karar eşiği etiket eşiğinden ayrı bir ayar olarak arandığında, eğitim ölçütü isabetten dengeli isabete çevrildiğinde ve etiket özniteliklerin gördüğü bir kurala bağlandığında duyarlılık 0,0000'dan 1,0000'a çıkıyor, çünkü aynı 135 adaylık arama eski etiketle dengeli isabette 0,5203'te yani yazı tura düzeyinde kalıyor. Düzeltilmiş kurulumda girdi dönem dönem kayıyor, girdi özeti 25,9220'den 27,0472'ye çıkıyor, tahmin payı 0,4550'den 0,5450'ye gidiyor ve 0,05 bandında üç dönem uyarı ateşliyor, ama isabet 0,9700'den 0,9800'e çıkarak hiç düşmüyor; üç ateşlemenin üçü de yanlış alarm ve kaymanın gerçekten götürdüğü, kaymasız koşumla karşılaştırıldığında 2026-12'de 0,0100, yani iki çözünürlük adımı.
  2. 02 Kavram Kayması Girdi hiç değişmeden girdi ile etiket arasındaki kuralın değişmesinin ölçülmesi: yüksek sayılma eşiği 30'dan 27'ye indiğinde girdi tarafında değişen tek bir değer olmamasına karşın 1200 izleme satırının 132'sinin etiketi değişiyor ve modelin isabeti 0,9700'den 0,8150'ye, yani otuz bir çözünürlük adımı düşüyor. Aynı üç gösterge iki kayma türünde yan yana okunduğunda vekil ölçütlerin neyi görüp neyi kaçırdığı sayıya dönüyor: girdi özeti iki senaryoda da hiçbir bantta ateşlemiyor, tahmin payı 0,05 bandında ikisinde de üç dönem ateşleyerek zararsızı zararlıdan ayıramıyor ve 0,10 bandında zararsız kaymada iki dönem ateşlerken zararlı kaymada hiç ateşlemiyor, isabet ise zararsız kaymada susup zararlı kaymada dört dönem ateşleyerek tek ayırt eden ölçü olarak kalıyor.
  3. 03 Başarım İzleme Gerçek etiketin tahminle aynı anda gelmediği bir üretim kurulumunda başarımın ne zaman bilinebildiğinin ölçülmesi: bir dönemin isabeti ancak iki dönem sonra hesaplanabildiği için kavram kaymasının 2026-09'da düşürdüğü isabet ilk kez 2026-11'de görülebiliyor ve bu boşlukta 400 tahmin ölçülmeden üretiliyor. 2026-09'da gerçek isabet 0,8150 iken elde olan en yeni ölçü 2026-07'nin 0,9700'ü oluyor, yani gösterge yanlış değil eski. Gecikme süpürmesi bedeli doğrusal veriyor: 0 dönem gecikmede bozulma aynı dönemde görülüyor ve ölçülmeden üretilen tahmin 0, 1 dönemde 200, 2 dönemde 400, 3 dönemde 600, 4 dönemde bozulma izleme penceresi içinde hiç görülmüyor; etiket hiç toplanmadığında ölçülebilen dönem sayısı 0 ve bozulma hiçbir zaman görülmüyor.
  4. 04 Vekil Ölçütler Etiket gelmeden önceki iki dönemde elde kalan ölçülerin sayılması: girdi özeti, tahmin payı ve girdi eksiksizliği üç senaryoda yan yana konduğunda kavram kaymalı kurulumun üç vekili sağlam kurulumun üç vekiliyle hane hane aynı çıkar, çünkü kural değişmiştir ve girdi değişmemiştir. Tahmin payı sağlam kurulumda bile 0,0957 sapıyor ve 0,05 bandını aşıyor, veri kaymalı kurulumda 0,1596'ya çıkıyor ama o kurulumda isabet 0,9700'den 0,9800'e gidiyor; girdi özeti gerçekten kayan tek senaryoda 0,0382'de kalıp ateşlemiyor, çünkü kayma 200 abonenin 102'sinde ve ortalama onu seyreltiyor; girdi eksiksizliği üç senaryoda da 0,0000 sapıyor ve tek bir dönemin okuması hiç gelmediğinde iki dönemi birden 0,8000'e düşürerek çalıştığını gösteriyor. Senaryoları ayıran tek ölçü isabettir ve iki dönem sonra gelir.
  5. 05 Uyarı ve Eşikler Uyarı bandının daraldıkça ne kazandırıp ne kaybettirdiğinin sayılması: 0,05 bandında üç ölçü ve üç senaryo boyunca 13 dönem ateşliyor, bunların 6'sı yanlış alarm; 0,10'da 6 ateşleme ve 2 yanlış alarm; 0,20'de hiç yanlış alarm yok ama gerçek bozulmanın dördü de kaçıyor, çünkü 0,20'lik göreli bant 0,9700 tabanında isabetin 0,7760'ın altına inmesini ister ve en dip değer 0,8150'dir. Tahmin payı 0,05 bandında hem sağlam kurulumda hem kavram kaymalı kurulumda tam üç dönem ateşliyor; aynı ateşleme bir yerde saf yanlış alarm, öbür yerde yakalama sayılıyor, bu yüzden ölçülmemiş sayılır. Yalnız isabet iki zararsız senaryoda hiç ateşlemeyip zararlı senaryoda dört dönem ateşliyor ve yakalama gecikmesi iki dönem.
  6. 06 Geri Bildirim Toplama Üretimden toplanan etiketin kapsadığı payın ve taşıdığı yanlılığın sayılması: beş toplama yordamı aynı 1200 satır üzerinde denendiğinde yalnız pozitif tahminler için etiket toplamak 0,4858 kapsam verir ve kavram kaymalı üretimde ölçülen isabeti gerçek isabetten +0,0894 yukarı kaydırır, çünkü o yordam isabeti değil kesinliği ölçer; dönem dönem bakıldığında ölçülen isabet 0,9362'den 1,0000'e çıkarken gerçek isabet 0,8500'e iner ve düşüşe kurulmuş bir uyarı hiç ateşlemez. Yalnız negatif tahminler ters yönde −0,0845, karar eşiğine yakın satırlar 0,1850 kapsamla −0,2909 sapar. Her dördüncü satırı toplayan yordam yarı kapsamla +0,0033 ve +0,0100 sapar; kapsam yanlılığı düzeltmez, yanlılık seçim kuralından gelir.

02

Yayın ve Yönetişim

Bir modelin yayına alınmasının, değiştirilmesinin ve kullanımdan kaldırılmasının denetlenebilir biçimde sayılması: gölge dağıtımda hiçbir isteğin yeni modele gitmemesine karşın ölçümün alınabilmesi ve kanaryada yeni modele giden payın sonucu ne kadar oynattığı, çevrimiçi deneyin dönem başına iki yüz satırla ayırt edebildiği en küçük fark ve bu farkın altındaki karşılaştırmanın sonuçsuz kalması, yeniden eğitim tetikleyicisinin kural değişmediğinde üç pencerede de eski modelle aynı 0,9800'ü vermesi ve eğitim bedelinin boşa ödenmesi, karar kayıtlarının bir tahminin hangi model ve hangi öznitelikle üretildiğini bulunabilir kılması, uyumluluk yükümlülüklerinin düzenleme adı yazılmadan sınıflarıyla anılması ve her sınıfın mühendislik karşılığının kaç kayıt gerektirdiği, eğitim ile çıkarım maliyetinin ayrı izlenmesi, modelin emekliye ayrılmasının hangi ölçüyle kararlaştırıldığı ve kaldırılan modelin geriye dönük denetlenebilirliğinin ne kadar süre korunduğu.

  1. 01 Gölge ve Kanarya Dağıtımı Yeni bir modelin yayına alınmasının kademelendirilmesi ve yeni modele giden payın hem sonucu hem de ölçüyü ne kadar oynattığının sayılması: gölge yerleşimde yeni modele 0 istek gider ama aday iki yüz satırın tamamında ölçülür ve 0,9650 çıkar, kanarya payı 0,10 olduğunda aday yalnız yirmi satırda ölçülür, çözünürlük 0,0050'den 0,0500'e çıkar ve aynı aday 1,0000 görünür. Eğitim araması iki adayı 0,9800 ile 0,9741'de ayıramazken üretimde aralarında 0,0150 fark vardır ve pay küçüldükçe bu farkın izi ölçünün altına iner.
  2. 02 Çevrimiçi Deneyler İki modelin üretimde karşılaştırılmasının bu küme büyüklüğünde ne kadar küçük bir farkı ayırt edebildiğinin sayılması: dönem başına iki yüz satırla çözünürlük 0,0050, altı dönemle 0,0008'dir, ama tek dönemlik ölçümler aynı aday için 0,0400 genişliğinde bir bant içinde oynar ve işaret değiştirir. Yüz otuz beş adayın taraması sınırı verir: altı dönemin altısında da aynı işareti taşıyan 133 adayın en küçük farkı 0,0275, işareti oynayan tek adayın farkı 0,0050'dir. Aradaki aralıkta ölçülmüş aday yoktur ve ayırt edilebilir en küçük fark bu iki sayının arasında kalır; altında kalan her karşılaştırma sonuçsuzdur.
  3. 03 Yeniden Eğitim Politikası Bir modelin ne zaman yeniden eğitileceğine karar veren tetikleyicilerin ve o kararın gerçekten ne kazandırdığının sayılması: veri kaymalı üretimde üç yeniden eğitim penceresinin üçü de 2026-12 döneminde 0,9800 verir ve bu, hiç yeniden eğitilmemiş eski modelin sayısıyla birebir aynıdır. Takvim, gösterge ve başarım tetikleyicileri iki bozulma senaryosunda koşturulduğunda altı bileşimin altısında da kazanılan isabet 0,0000 çıkar ve karşılığında 3.078.000 satır puanlanır. Kazancı belirleyen şeyin tetikleyici değil pencere olduğu, kavram kaymasında aynı anda tetiklenen yeniden eğitimin pencere 6 ile 0,0000, pencere 1 ile 0,1100 kazandırmasıyla gösterilir.
  4. 04 Model Denetlenebilirliği Üretilmiş tek bir tahminin nedenine aylar sonra ulaşılabilmesinin karar kaydı varken ve yokken ayrı ayrı sayılması: karar kaydıyla bir tahminin modeli, karar eşiği, öznitelik değerleri ve puanı tek satırda okunur ve tahmin başına 1,00 satır düşer. Kayıt olmadığında aynı iki yüz tahmin için 84.740 satır okunur, tahmin başına 423,70 eder ve buna karşın 189 tahminin hangi modelden geldiği belirlenemez, çünkü kanarya döneminde iki model tahminlerin 189'unda aynı şeyi söyler. Kaydın bedeli altı dönem için 12.000 saklanan alandır ve kaynak okumalarının 0,8333 katıdır.
  5. 05 Uyumluluk Gereksinimleri Dışarıya karşı yüklenilen dört yükümlülük sınıfının kaç ek alan ve kaç saklanan kayıt istediğinin sayılması: taban kayıt karar başına üç alan tutar ve 1200 kararın 36'sı bugünkü kaynaktan yeniden hesaplandığında ayrılır, çünkü geç gelen 80 satır 239 kararın özniteliğini değiştirmiştir. Kayıt tutma yükümlülüğü karar başına dört alan ekler ve yeniden hesabı 1200'de 1200 yapar; açıklama yükümlülüğü sıfır alan ekler, çünkü beş açıklama değeri de o dört alandan türetilir; itiraz hakkı yalnız eşiğe bir puandan yakın 108 olumsuz kararda üç alan ekler ve o 108 karar modelin 26 yanlışının 26'sını kapsar; saklama politikası ise hiç alan eklemez, kayıt siler. Üç dönemlik saklamada 600 karar kaydı düşer ve itiraz penceresi hâlâ açıkken silinmiş karar sayısı 600 olur.
  6. 06 Maliyet Yönetimi Eğitim ile çıkarımın ayrı izlenmesi ve tek toplamın hangi kararı gizlediğinin sayılması: iş birimi bir puan hesabıdır, altı izleme döneminin çıkarımı 1200 puan hesabı tutar ve sıklık ne olursa olsun sabit kalır, bir yeniden eğitim ise 162.000 tutar. Yeniden eğitim sıklığı altı dönemde bire indiğinde eğitim kalemi 162.000'den 972.000'e çıkar, eğitim payı 0,9926'dan 0,9988'e yükselir ve 2026-12 isabeti beş kurulumun beşinde de 0,9800'de kalır; kazanılan isabet 0,0000 olduğu için kazanç başına maliyet tanımsızdır. Toplamdan okunan tahmin başına maliyet 811,00, çıkarımdan okunan 1,00'dir: çıkarımı tümüyle bedavaya indirmek toplamın 0,0012'sini siler, sıklığı bire birden altıya indirmek 0,8323'ünü siler ve karşılığında 0,0000 isabet ödenir. Kesişme noktası dönem başına 27.000 ile 162.000 istek arasındadır.
  7. 07 Model Emekliye Ayırma Emekliye ayırma kararının hangi ölçüyle verildiğinin ve modeli kaldırmanın geriye dönük ne bıraktığının sayılması: gösterge ölçütü iki senaryonun ikisinde de 2026-10'da ateşler, birinde emeklilik haksızdır çünkü isabet 0,9700'den 0,9800'e gitmiştir; isabet ölçütü zararsız kaymada hiç ateşlemez ve zararlı kaymada 2026-09'daki bozulmayı 2026-11'de gösterir, iki dönem geç; aday karşılaştırma ölçütü veri kaymasında 0,0000, kavram kaymasında 0,0900 üstünlük ölçer ve iki senaryoyu ayıran tek ölçüttür. Kaldırma sonrası karar kaydı olmadan altı dönemin altısı açıklanamaz kalır; karar kaydı varken model sürüm kaydı silindiğinde 1200 tahmin okunur ama gerekçesi hesaplanan 0'dır. Ders kurs ve müfredat kapanışıdır.

Aramak için yazmaya başlayın.

↑↓ ↵ Esc gezin · aç · kapat