İçeriğe geç
academia.sh

Kurs Orta

Veri Mühendisliğine Giriş

Bu kursun sonunda

Kursa başla

01

Alan ve Yaşam Döngüsü

Kurgu bir veri hattının beş aşamayla kurulması ve her aşamanın ne kadarını taşıdığının sayılması: 2400 kaynak satırın ayıklama, tekilleştirme, tüketim, özet ve sunma aşamalarından geçerek 5 sunulan değere inmesi ve her sunulan değerin arkasında kaç satır durduğu, altı bozulma sınıfının hangi aşamada etkisini gösterdiği ve hangilerinin sunulan sayıyı hiç değiştirmediği, aynı bozulmanın veri mühendisiyle model kuranın ölçüsüne farklı yansıması ve birim değişiminin ikisinde de görünmemesi, uygulama veritabanı, günlük ve dış servis kaynak sınıflarının taşıdığı bozulma profili ile her birinin yakalama gecikmesi, toplu işlemede bozulmanın bir dönem sonra akış işlemede aynı dönemde görünmesi ve karşılığında akışın büyüttüğü aşama sayısı ile durum taşıma.

  1. 01 Veri Mühendisliği Nedir Kurgu bir ölçüm ağının 2400 sayaç okumasının beş aşamalı bir hattan geçirilip her aşamanın taşıdığı satırın sayılması: ayıklama 2400, tekilleştirme 2400, tüketim 2200, özet 55 ve sunma 5. Tüketim aşamasının düşürdüğü satır sıfır olduğu hâlde çıkışı iki yüz satır daha az, çünkü ilk dönemin farkı tanım gereği yoktur. Beş sunulan değerin arkasında 2400 kaynak satırı duruyor, değer başına ortalama 480; en büyük değer 588 kaynak satırının, en küçüğü 372 satırın üzerinde. Hat belirlenimci olduğu için bu sayıların hepsi koşum yapılmadan da türetilebilir. Denetimsiz hatta yakalanan bozulma sıfır ve yakalama gecikmesi tanımsızdır, çünkü ölçen hiçbir şey yoktur.
  2. 02 Yaşam Döngüsü Altı bozulma sınıfının aynı beş aşamalı hattan geçirilip her aşamanın kendi bozulmaya açıklığının sayılması: ayıklama yalnız alan adı değişimini, tekilleştirme yalnız çift kaydı görüyor, tüketim aşaması eksik satırın bedelini tam iki katına çıkarıyor (40 satır 80'e, 46 satır 92'ye, 200 satır 400'e), özet aşamasında hücre sayısı 55'ten 45 ve 53'e düşüyor, sunma aşaması ise altı sınıfın hiçbirinde beş değerden başka bir şey üretmiyor. Üç sınıf sunulan sayıyı birebir aynı bırakıyor: yinelenen tekilleştirmede yutuluyor, kayan_tip hattın kendi tür dönüşümüyle sessizce onarılıyor, birim_degisti ise özetin on hücresini yıktığı hâlde iki dönem birbirini götürdüğü için sunulan değeri değiştirmiyor. gec_gelen ve birim_degisti tam olarak aynı sayıda özet hücresini bozuyor, biri sunumu değiştiriyor öbürü değiştirmiyor.
  3. 03 Veri Mühendisliği ve Veri Bilimi Ayrımı Aynı altı bozulma sınıfının iki rolün ölçüsüne yan yana basılması: veri mühendisi beş aşamanın satır izini, model kuran ise hattın sunduğu bölge ortalamasını öznitelik alan bir tahmin kuralının ortalama sapmasını (taban 10,832 m3) görüyor. İki ölçü aynı altı sınıfı farklı sıralıyor: sema_degisti mühendisin izinde en gürültülü sınıf (2200 satır 1800'e iniyor) ama modelin sapmasını yalnız 0,003 oynatıyor; gec_gelen kaynaktan yalnız 40 satır eksiltiyor ama sapmayı 0,105 oynatarak en çok o kıpırdatıyor; eksik_bolum sapmayı 0,003 düşürüyor, yani bozulma ölçüyü iyileştiriyor. birim_degisti ve kayan_tip ikisinde de hiçbir iz bırakmıyor. Birim değişiminin görünmezliği teleskopik bir kimlikten geliyor: bölgenin on bir hücresinin toplamı uç endekslerin farkına eşit ve bozulma uçlara dokunmuyor; aynı tablo dönem ekseninde okunduğunda temmuz ortalaması 26,7 yerine 40592074,02 çıkıyor.
  4. 04 Kaynak Sistemler Üç kaynak sınıfının bozulma profilinin çıkarılması ve her bozulma sınıfının kaç aşama sonra yakalandığının sayılması: sağlam teslimde üçü de 2400 satır veriyor ve aynı beş sunum değerini üretiyor, hiçbir denetim ateşlemiyor. Bozulma geldiğinde ayrılıyorlar: uygulama veritabanı altı sınıfın üçünü taşıyor ve toplam gecikmesi 4 aşama, günlük beşini taşıyor ve toplam gecikmesi 8, dış servis altısını da taşıyor ve toplam gecikmesi yine 8. Hoşgörülü ayrıştırma tür kaymasını iki kaynakta da görünmez kılıyor: 200 satır bozuluyor, yakalayan denetim yok, sunulan beş değer birebir aynı kalıyor. Satır sayısı denetimi 0,05 toleransla üç sınıfın hiçbirini yakalamıyor çünkü en büyük satır farkı 60, yani 0,0250; tolerans 0,0100'e indirildiğinde üçünü de yakalıyor ama dayanağı üreticinin kendi beyanı olduğunda hiçbir toleransla yakalamıyor.
  5. 05 Toplu ve Akış İşleme Aynı hattın iki kipte koşturulması ve tazelik ile yakalama gecikmesinin takasının sayılması: toplu kipte bozulma bir dönem sonra, 2026-08 koşumunda görünüyor, akış kipinde aynı dönemde, 2026-07 penceresinde. Karşılığında akış aşama sayısını 5'ten 8'e, taşınan durumu 0'dan 2600 girdiye çıkarıyor; buna karşılık okunan satır 13200'den 2400'e iniyor. Dönem penceresi kusurlu bölüm denetimini düzeltiyor: toplu kipte hiç yakalanmayan eksik bölüm akışta aşama 0'da yakalanıyor. Geç gelen satırda takas tersine dönüyor: toplu kip satırı sonraki koşumda geri alıp 55 özet hücresinin hepsini doğru bırakırken akış 40 satırı ilerleme damgasınde düşürüyor ve 10 hücreyi kalıcı olarak kirletiyor, ama sunulan beş değer iki kipte de birebir aynı kalıyor.

02

Kalite ve İlkeler

Kalite boyutlarının çalışan denetimlere çevrilmesi ve denetimin hem yakaladığının hem kendi kusurunun sayılması: altı bozulma sınıfının yakalama gecikmesi ve kusurlu denetim kümesiyle hiç yakalanmayan üç sınıf, bölüm denetiminin bölge kümesine bakıp dönemi görmediği için bir bölgenin tek döneminin hiç yazılmamasına rağmen yeşil kalması, şema değişiminin düşürdüğü satır ile veri sözleşmesinin yakaladığı aşama ve sözleşmenin kendi bedeli, yinelemeye dayanıklı olmayan hatta yeniden işlemenin satırı çoğaltması ve tekilleştirme aşaması yuttuğu için sunulan sayının değişmemesi, bozulmuş bir sunum değerinden kaynağa gitmek için bakılan aşama ve satır sayısının soyağacı kaydı varken ve yokken karşılaştırılması, beş aşamanın kaçının sahip taşıdığı ve sahipsiz aşamada yakalanan bozulmanın kime gittiği ile saklama politikasının geriye dönük denetlenemez kıldığı dönem sayısı.

  1. 01 Veri Kalitesi Boyutları Kalite boyutlarının çalışan denetimlere çevrilmesi ve her denetimin hem yakaladığının hem kendi kusurunun sayılması: altı bozulma sınıfının yakalama gecikmesi sırasıyla 4, 0, 0, 4, 0 ve 0 aşamadır; kusurlu denetim kümesiyle üç sınıf hiç yakalanmaz; bölüm denetimi bölge kümesine baktığı için bir bölgenin tek dönemi hiç yazılmadığında yeşil kalır; birim değişimi özetin on hücresini oynatıp sunumu birebir aynı bırakır.
  2. 02 Şema Sözleşmeleri Üretici ile tüketici arasındaki şema sözleşmesinin kimi kırdığının ve kendi bedelinin sayılması: bir alanın adı değiştiğinde üretici tarafında hatalı satır 0 kalırken tüketici tarafında 200 satır ayıklamada, 200 satır daha tüketimde düşüyor ve özet 55 hücreden 45'e iniyor; sözleşme yazıldığında aynı bozulma aşama 0'da yakalanıyor ama çıktı düzelmiyor; alan kümesini birebir sabitleyen katı sözleşme hiçbir bozulma yokken 1200 iyi satırı engelleyip özeti 25 hücreye düşürüyor; yük düzeyi uygulama 2200 iyi satırı engelleyip hiç çıktı vermiyor, bağdaştırma aşaması ise sunumu tabana döndürürken hattı altı aşamaya çıkarıyor.
  3. 03 Yinelemeye Dayanıklılık ve Yeniden İşleme Aynı yükün ikinci kez işlenmesinin satırı çoğalttığının ve sunulan sayının bunu göstermediğinin ölçülmesi: ekleyen depoda bir dönemin geri doldurulması ham satırı 2400'den 2600'e, tam yeniden koşum 4800'e çıkarıyor, üç koşumda 7200'e ulaşıyor, ama tekilleştirme aşaması fazlalığı yuttuğu için sunulan değer üç koşumda da 1212,55 kalıyor; aynı aşama yeniden verilen yük bir düzeltme taşıdığında düzeltmeyi çöpe atıp değeri 794,36'da bırakıyor; tekilleştirme anahtar yerine satırın tamamına baktığında ise aynı yeniden koşumlar değeri 2425,09'a ve 3637,64'e taşıyor.
  4. 04 Veri Soyağacı Bozulmuş bir sunum değerinden kaynağa gitmek için bakılan satır sayısının soyağacı kaydı varken ve yokken sayılması: beş aşamalı hat altı katmanda 9.460 satır taşırken soyağacı kaydı 11.455 bağ tutuyor, çünkü her tüketim satırının iki atası var; kayıt yokken bir sunum değerini açıklamak 9.260 satır okumayı gerektiriyor ve bu sayı hangi değerden başlandığına bağlı değil, kayıtla aynı arama 94 ile 155 satır arasında bitiyor. İki koşum iki ayrı kayıp aşaması veriyor: geç gelen kayıtta kayıp kaynakta, şema değiştiğinde ayıklama aşamasında. Sunum sapmasının büyüklüğü bozulmanın büyüklüğünü vermiyor: beş kat fazla satır bozulduğunda sunum daha az oynuyor ve iki değer yukarı gidiyor.
  5. 05 Veri Yönetişimi Sahiplik boşluğunun ve saklama politikasının sayılması: kaynağıyla birlikte altı konum taşıyan hatta beş aşamanın üçü bir sahip taşıyor, ama altı bozulmanın altısı da sahipsiz bir konumda yakalanıyor, çünkü denetimler yalnız kaynakta ve özet katmanında koşuyor. Bulgu aşağıya yürüyerek bir sahibe ulaşıyor ve altı bulgunun üçü onarabilecek sahibe gidiyor; kalan üçünde alıcı onarım yerinden bir ile beş aşama uzakta ve kanıta erişimi yok. Onarım yeri sahipsiz olan üç sınıf, kusurlu denetim kümesiyle hiç yakalanmayan üç sınıfla birebir aynı. Altı dönemlik saklama penceresi altı dönem siliyor ama geriye dönük denetlenemez dönem yediye çıkıyor, özet 55 hücreden 25'e iniyor, soyağacının 4400 tüketim bağının 2200'ü silinmiş satıra işaret ediyor ve doğru bölüm denetimi sağlam veride yanlış alarm veriyor. Ders kursun kapanışıdır.

Aramak için yazmaya başlayın.

↑↓ Esc gezin · aç · kapat