İçeriğe geç
academia.sh
en
Giriş yap

Kurs Orta

Veri Hatları ve Orkestrasyon

Bu kursun sonunda

Kursa başla

01

Veri Alma

Verinin kaynaktan hatta hangi yöntemle alındığının ve her yöntemin neyi kaçırdığının sayılması: tam yüklemenin taşıdığı satır ile artımlı yüklemenin kaçırdığı geç gelen değişiklik ve değişiklik yakalamanın ikisini de gördüğü durum, sayfalama ve hız sınırı altında bağlayıcının tamamladığı çağrı ile yeniden denemenin eklediği istek, konu ve bölüm sayısının tüketici grubuna dağıttığı iş ile bölüm başına sıra korunumu, pencereleme kararının geç gelen kayıtta değiştirdiği sonuç ve durum taşımanın bedeli, en çok bir kez teslimde 19 satırın kaybolarak her bölgeyi kaydırması ile en az bir kez teslimde 19 yinelenmenin anahtarlı yazım sayesinde sunumu hiç değiştirmemesi, işlenmiş verinin operasyonel sisteme geri yazılmasının açtığı döngü ve o döngünün kaç aşama sonra kendi girdisine dönmesi.

  1. 01 Alma Türleri Üç alma yönteminin taşıdığı satır ile kaçırdığı değişikliğin yan yana sayılması: dönem başına dört görevden kurulu çizge 48 düğüm ve 47 kenar taşıyor, tam yükleme on iki koşumda 15.560 satır taşıyıp hiçbir değişikliği kaçırmıyor, artımlı yükleme 2.360 satır taşıyıp 148 değişikliği kaçırıyor, değişiklik yakalama 2.508 satır taşıyıp hiçbirini kaçırmıyor. Artımlı yüklemenin kaçırdığı 40 geç gelen satır ile 108 düzeltilmemiş satır sunumu her bölgede aşağı çekiyor, ama satır sayısı denetimi 0,0167 oranıyla sessiz kalıyor ve bozulmayı ancak dağılım denetimi 0,3469 ile aşama 4'te yakalıyor.
  2. 02 Bağlayıcılar ve API Tüketimi Sayfalama ve hız sınırı altında bağlayıcının tamamladığı çağrı ile aldığı satırın sayılması: pencere başına sekiz çağrı kotasıyla 25 satırlık sayfada 96 çağrının 83'ü tamamlanıyor ve 2075 satır alınıyor, 100 satırlık sayfada 24 çağrının 20'si tamamlanıyor ve 2000 satır alınıyor, yani düşen çağrı başına kaçan satır sayfa boyuyla birlikte 25'ten 100'e çıkıyor. Yeniden deneme küçük sayfada kotayı yiyor ve alınan satırı 2075'ten 2025'e düşürüyor, 112 sayfa bir pencere geciktiriyor, 2026-12 dönemi hiç alınmıyor; buna karşılık sunum sapması −374'ten −125'e iniyor, çünkü kayıp dağınık olmaktan çıkıp kuyruğun sonunda toplanıyor. Bağlayıcının kendi çağrı defteri eksiği gecikmesiz bildiriyor: beklenen 96, tamamlanan 83.
  3. 03 Mesaj Sistemleri Bölüm sayısının tüketici grubuna dağıttığı iş ile bölüm başına sıra korunumunun yan yana sayılması: dört tüketicili bir grupta tek bölüm üç tüketiciyi boşta bırakıyor, dört bölüm hepsini çalıştırıyor. Abone anahtarıyla bölümlenen konuda hiçbir abone dağılmıyor ve tüketim her bölüm sayısında 2200 satır kalıyor, ama yük 708 ile 492 arasında eğriliyor. En dengeli anahtar olan kayıt anahtarı yükü 621 ile 583 arasına sıkıştırıyor ve 200 abonenin hepsini dağıtıyor: tüketim dört bölümde 527 satıra düşüyor, sunum her bölgede 616 ile 977 arasında kayıyor. Dönem anahtarı ise 2200 satırın 2000'ini kaybederken sunumu yalnız −15,29 ile +16,15 arasında oynatıyor.
  4. 04 Akış İşleme Pencere kararının ve durum taşımanın sayıya çevrilmesi: dönem penceresi kapandığı anda kapatıldığında bir dönem geciken 40 kayıt düşüyor ve 55 özet hücresinin 10'u kirleniyor, pencere bir dönem daha açık tutulduğunda düşen satır 0'a iniyor ama 2026-07 hücresi 2026-08'de yazılıyor ve taşınan durum 400 girdiden 600'e çıkıyor. Tolerans gecikmeye yapılan bir bahistir: aynı kayıtlar iki dönem geciktiğinde tolerans 1 sonucu tolerans 0 ile birebir aynı oluyor. Dokuz kurulumun hiçbirinde sunulan beş değer değişmiyor, yalnız kirli hücre sayısı değişiyor. Pencere hiç kapanmazsa durum 2400'e çıkıyor ve kip toplu işlemeye dönüyor; denetim noktası olmadan kaybedilen durumda 200 satır hesaplanamıyor, özet 50 hücreye düşüyor ve sunum her bölgede kayıyor.
  5. 05 Teslim Garantileri Üç teslim kipinin aynı hat üzerinde sayıya çevrilmesi: en çok bir kez teslimde 2026-07 döneminin 19 satırı kayboluyor, tüketim 2200'den 2162'ye iniyor, 55 özet hücresinin 10'u kirleniyor ve sunum her bölgede kayıyor (−9,18 … −28,36); en az bir kez teslimde 19 satır iki kez varıyor ama tüketim 2200'de kalıyor ve sunum farkı boş çıkıyor, çünkü tekilleştirme aşaması yinelenmeyi yutuyor; tam bir kez teslimde anahtarlı yazım ikisini de sıfırlıyor. Asıl bulgu denetim sütunundadır: yinelenmeyi tekillik denetimi aşama 0'da yakalıyor, kayıp ise hiçbir denetime takılmıyor — satır oranı 0,0079 ile 0,05 eşiğinin, en büyük hücre sapması 0,2488 ile 0,25 eşiğinin altında kalıyor. Kayıp sessiz, yinelenme onarılabilirdir.
  6. 06 Ters ETL İşlenmiş verinin operasyonel sisteme geri yazılmasının açtığı çemberin sayılması: sunum katmanında hesaplanan bölge eşiği geri yazıldığında zincir al, ayikla, tekille, tuketim, ozet, sun ve geri yazım üzerinden yedi aşama sonra kendi girdisine dönüyor. Geri yazılan değerin bir sonraki koşumda yaptığı ölçülüyor: birinci koşumun yazdığı eşik ikinci koşumda 1129 okumayı kırpıyor, sunum her koşumda kayıyor (koşumlar arası en büyük fark 47,00, sonra 10,90 ve 14,36) ve döngü dördüncü koşumda duruyor. Durduğu yer taban değildir: tüketim satırı 2200'de kalırken 55 özet hücresinin 55'i kirleniyor, sunum −19,27 … −59,46 sapıyor ve en büyük hücre sapması 0,1788 ile 0,25 eşiğinin altında kaldığı için hiçbir denetim ateşlemiyor. Geri yazılan değer hattın girdisinden ayrı tutulduğunda her koşum aynı sonucu veriyor.

02

Dönüştürme

Dönüştürmenin nerede, hangi katmanda ve hangi güvenceyle yapıldığının sayılması: dönüştürmenin kaynakta mı hedefte mi yapıldığının taşınan satıra ve okunan hücreye etkisi, sorgu tabanlı modellemede bağımlılık çözümünün sıraladığı görev ile döngü kaçırıldığında olan, ham, arıtılmış ve sunum katmanlarının her birinin sakladığı satır ve bir bozulmanın hangi katmanda durdurulabildiği, veri testlerinin ve beklenti tanımlarının yakaladığı bozulma sınıfı ile hiçbirinin yakalamadığı kalıntı, kural değişikliğinin yalnız iki döneme uygulanmasının raporu tam uygulamadan 16,98 ile 29,57 arasında saptırması ve iki koşumun da kendi içinde tutarlı görünerek hiçbir denetime takılmaması.

  1. 01 ETL ve ELT Dönüştürmenin kaynakta mı hedefte mi koşacağının sayılması: sınır kaynağa alındığında hedefe taşınan satır 2400'den 55'e, taşınan hücre 14400'den 165'e iniyor, ama üç kurulumun da okuduğu toplam hücre 33110'da sabit kalıyor ve yalnızca okuyanın kim olduğu değişiyor; karma sınır taşınan satırı 2200'e düşürürken taşınan hücreyi 15400'e çıkarıyor; bir raporlama kuralı değiştiğinde hedefte yeniden hesaplanabilen kural sayısı ham veriyi saklayan kurulumda 3, karma kurulumda 1, kaynakta dönüştüren kurulumda 0 oluyor ve son kurulum kaynağa dönmek zorunda kalıp yalnızca üç dönemi geri hesaplayabiliyor.
  2. 02 Dönüştürme Çerçeveleri Dönüşümlerin birbirine başvuran modeller olarak yazılmasının ve sıranın nereden geldiğinin sayılması: on bir model ve on üç bildirilen bağımlılık üzerinde çözümleyici sırası 0 ihlal verirken elle tutulan yazılma sırası 1 bağımlılığı ihlal edip 7 modeli, alfabetik sıra 5 bağımlılığı ihlal edip 10 modeli eksik girdiyle koşturuyor; ihlalli koşum hiçbir hata üretmeden sunumu her bölgede 17,46 ile 28,37 arasında düşürüyor; sorgu metnine bir başvuru daha eklendiğinde çözümleyici 11 modelin yalnız 3'ünü sıralayıp koşumu başlatmıyor, elle sıra ise on birini de koşturup döngünün bir kenarını sessizce kırıyor; bildirilmemiş tek bir okuma çizgede hiç görünmediği için çözümleyici 0 ihlal bildirirken gerçek ihlal 1 oluyor.
  3. 03 Aşamalı Katmanlar Ham, arıtılmış ve sunum katmanlarının her birinin sakladığı satırın ve bir bozulmanın hangi katmanda durdurulabildiğinin sayılması: sağlam hat ham katmanda 2400, arıtılmış katmanda 2200 satır ve sunum katmanında 55 özet hücresi bırakıyor; altı bozulma sınıfının dördü ham katmanda, biri arıtılmış katmanda, biri de ancak sunum katmanında duruyor ve bunlardan üçü sunulan değeri hiç değiştirmiyor; üç katmanlı kurulum 4655 satır saklayıp altı sınıfın altısını da durdururken iki katmanlı kurulum 2455 satırla aynı altısını durduruyor ama birim değişimini bir katman geç yakalıyor, tek katmanlı kurulum ise 55 hücre saklayıp yalnız iki sınıfı durduruyor ve dördünü hiç görmüyor.
  4. 04 Test Edilebilir Dönüşümler Dönüşümün kendi çıktısına konan beklentilerin yakaladığının ve yakalamadığının sayılması: altı beklenti sağlam hatta hiç ateşlemiyor ve altı bozulma sınıfından dördünü yakalıyor, yinelenme ile tür kayması dönüşümün kendisi tarafından yutulduğu için çıktıda hiç görünmüyor. Birim değişimi çıktıya konan beklentiyle üçüncü aşamada yakalanıyor ve bunun için hiçbir taban çizgisi gerekmiyor, oysa sunum birebir aynı kalıyor. Dönem etiketini bir dönem geriye kaydıran kural hatası 2200 satırı, 55 hücreyi ve beş sunum değerini birebir aynı bıraktığı için altı beklentinin hiçbirine takılmıyor; onu yalnız sabit girdi üzerindeki birim testi yakalıyor.
  5. 05 Geriye Dönük Doldurma Değişen bir kuralın geçmiş dönemlere uygulanmasının sayılması: kural on iki dönemin tamamına uygulandığında 12 dönem ve 2200 satır yeniden hesaplanıyor, yalnız iki döneme uygulandığında 2 dönem ve 400 satır yeterli oluyor ama rapor tam uygulamadan 16,98 ile 29,57 arasında sapıyor. Karışık rapor altı beklentinin hiçbirini bozmuyor, kendi içinde tutarlı çıkıyor ve kuralın hücrede yarattığı yüzde 2,75'lik sıçrama doğal dönem oynaklığının ortancasının altında kaldığı için hiçbir denetime takılmıyor. Sapmanın kaynağı veri değil hangi dönemlerin yeniden hesaplandığıdır; satıra kural sürümü damgalandığında karışıklık tek bir karşılaştırmayla görünür oluyor.

03

Orkestrasyon ve Gözlem

Bağımlılıklı bir iş akışının çizge olarak kurulmasının ve bir görev düştüğünde geri kalanın ne yaptığının sayılması: 48 düğümlü ve 47 kenarlı çizgede tüketim görevinin bir önceki dönemin ayıklamasına da bağlı olması ve ilk dönemin alma görevi düştüğünde beş görevin hiç koşamaması, zaman, olay ve veri hazırlığı tetikleyicilerinin aynı işi kaç kez ve ne zaman çalıştırdığı, yeniden denemenin yinelemeye dayanıklı olmayan hatta çoğalttığı satır ile uyarı eşiğinin kaçırdığı başarısızlık, yarım yazılan bölümün sunumu her bölgede yanlışlaması buna karşılık atomik yazımda bölümün hiç yazılmayarak dönem duyarlı bütünlük denetimine takılması, tazelik, hacim ve şema değişimi göstergelerinin bir bozulmayı kaç dönem sonra göstermesi, hat kodunun ortam ve sürüm yönetiminde aynı kodun iki ortamda ürettiği farklı sonuç.

  1. 01 İş Akışı Zamanlayıcıları Hattın adımları arasındaki bağımlılığın çizge olarak yazılmasının ve bir görev düştüğünde geri kalanın kaçının hiç koşamadığının ölçülmesi: on iki dönem ile dört görev türü 48 düğüm ve 47 kenar veriyor, tüketim görevi bir önceki dönemin ayıklamasına da bağlı olduğu için ilk dönemin alma görevi düştüğünde 5 görev, yedinci dönemin ayıklaması düştüğünde 4, tüketimi düştüğünde 1 görev hiç koşamıyor, dönemler arası on bir kenar yazılmadığında toplam bulaşma kapsamı 116'dan 72'ye iniyor ve 44 görev yeniden koşturulmadan geride kalıyor, elle koşumda ise düşen tek görev için 48 görevin tamamı yeniden koşturuluyor.
  2. 02 Bağımlılık ve Tetikleme Zincirin başındaki görevi neyin başlattığının ve aynı işin kaç kez ve ne zaman koştuğunun ölçülmesi: kaynağın yükü üç dönemde bir adım gecikmeli başlayıp dört dönemde iki parça hâlinde gelirken sabit takvim 12 koşumun 3'ünü boş, 3'ünü yarım bitiriyor ve altı dönem eksik kalarak tüketimi 2200'den 900 satıra düşürüyor, takvime iki dönemlik emniyet penceresi eklendiğinde koşum 24'e çıkıyor ve on iki dönemin tamamı ikinci kez işleniyor ama bir dönem yine eksik kalıyor, veri hazırlığı tetikleyicisi 12 koşumla boş ve yarım koşum üretmeden tam sonucu veriyor ve bedeli yedi dönemlik toplam gecikme oluyor, hazırlık ölçütü sabit satır sayısına bağlandığında ise dört dönem hiç tetiklenmiyor.
  3. 03 Yeniden Deneme ve Uyarı Bir görevin ortasında düşmesinin sunuma ne yaptığının ve yeniden denemenin hattı onarıp onarmadığının ölçülmesi: yedinci dönemin bölümü 120 satırda yarım yazıldığında ham satır 2320'de kalıyor, satır sayısı ile dönem duyarlı bütünlük denetimlerinin ikisi de yeşil kalıyor ama sunum her bölgede yanlışlıyor (−49,09 ile −121,82 arası), atomik yazımda aynı görev hiçbir satır bırakmıyor, tüketim 2200'den 1800'e iniyor, sapma −2,89 ile +12,80 arasında kalıyor ve iki denetim de ateşliyor, üç denemeli yeniden deneme ekleyen yazımda 240 satır çoğaltıp deponun ham sayısını 2640'a çıkarıyor, anahtarlı yazımda çoğalma sıfır oluyor, ve yeniden deneme başarılı olduğunda görev uyarısı susuyor.
  4. 04 Hat Gözlemlenebilirliği Çalışan bir hattın üstüne konan üç göstergenin ne gördüğünün sayılması: tazelik, hacim ve şema göstergeleri toplam 14 gözlem noktasına bakar ve hiçbiri bir hücrenin değerini okumaz, bu yüzden altı bozulma sınıfından yalnız değeri değiştiren birim değişimi üçüne de görünmez kalır. Hacim üç sınıfı aynı dönemde gösterir, şema iki sınıfı aynı dönemde, tazelik alan adı değişimini bir dönem sonra; gösterge en çok bir dönem ateşlerken bozulma iki dönem sürer ve iki sınıfta gösterge ateşlemesine karşın sunum hiç değişmez. Bant 0,05'ten 0,30'a genişledikçe hacmin gördüğü sınıf 3'ten 0'a iner ve bandın gizlediği en büyük kayıp 10 satırdan 60 satıra çıkar; tazelik toleransı 0 olduğunda gecikme 1 dönemden 0'a iner ama sağlam hatta bir yanlış alarm doğar.
  5. 05 Ortam ve Sürüm Yönetimi Aynı hat kodunun üç ortamda ürettiği farklı sonucun ve sürüm damgası yazılmadığında kaybolan kimliğin sayılması: geliştirme, hazırlık ve üretim ortamları aynı 2400 satırdan sırasıyla 400, 1000 ve 2200 tüketim satırı üretir ve raporları birbirinden ayrılır; yüklenen bölüm sayısı sunumu 20,41 ile 62,55 arasında, kural sürümü 20,77 ile 35,87 arasında kaydırır, iki etki aynı büyüklük düzeninde olduğu için sunuma bakarak ayrılamaz ve bir bölgede birbirlerini götürüp farkı −5,72'ye indirir. On bir koşumluk arşivde kural sürümü yedinci dönemden sonra değiştiğinde gözlenen sıçramanın kodun payı 20,40 ile 34,71 arasındadır ve kod hiç değişmeseydi görülecek olağan dönem hareketinin 0,42 ile 38,30 aralığının içinde kalır; dört bölgede veri aşağı giderken rapor yukarı gider. Damgasız arşivde 11 raporun hiçbiri kimlik taşımaz ve kimlikleme 22 koşum ister. Ders kursun kapanışıdır.

Aramak için yazmaya başlayın.

↑↓ ↵ Esc gezin · aç · kapat