Ünite 02 / 04
Veri Çerçeveleri
Etiketli veri yapılarının üstlendiği kararların tek tek görünür kılınması: dizin eşleşmesinin toplamada ürettiği satır sayısı, tip çıkarımının sessizce yanlış okuduğu sütun, etiket ile konum tabanlı dilimlemenin farklı satır döndürmesi, eksik değerin üç karşılaştırmada üç farklı süzgeç sonucu vermesi, grup anahtarındaki eksik değerin sessizce düşmesi, iç, dış ve çapraz birleştirmenin ürettiği satır sayısı ve çoğalma, yeniden örneklemede boş dönemin sıfır mı atlanmış mı sayıldığı, vektörleştirilmiş dizgi işlemlerinin eksik değerdeki davranışı.
Yayın Güncelleme
Dersler
- 01 Seri ve Veri Çerçevesi Ocak ve şubat okumaları abone başına toplanıyor ve aynı iki seri üç hizalama kipinde üç farklı sonuç veriyor: konum tabanlı toplama 1.101 satır üretir ve bu satırların yalnız 4 tanesinde iki etiket aynı aboneyi gösterir, ama toplam 44.271,89 m³ ile doğru cevabın 119,13 m³ yakınındadır. Etiketle iç hizalama da 1.101 satır verir ve hepsi doğrudur; etiketle dış hizalama 1.260 satır verir ve 159 satırı eksiktir. Etiket dizini kurmayan elle hizalama 781.710 etiket karşılaştırması yaparken seri toplaması 2.361 geçişle aynı sonuca varır. Eksik tarafın sıfır sayılması toplamı 44.391,02 m³'ten 47.707,44 m³'e taşır. 12 dk okuma
- 02 Veri Okuma ve Yazma 3.199 satır ve 7 sütunluk 139.238 baytlık bir dosya tek çağrıyla okunuyor ve tip çıkarımı 7 sütunun 3'ünü yanlış tiple veriyor: abone numarası tam sayı olduğu için ortalaması 10.690,5 diye hesaplanabiliyor, tarife basamağının ortalaması 27,4 m³ çıkıyor, endeks sütunundaki 3.008 sayısal değer 80 'yok' yüzünden metne dönüyor ve sütunun en büyük değeri 'yok' oluyor. Çıkarım bütün satırlar yerine ilk 100 satırdan yapılınca geçiş sayısı 22.393'ten 700'e iner, ama sayaç numarası tam sayıya kayar: 2.077. satırda başlayan harfli kodların 1.123 hücresi hiçbir uyarı üretmeden eksiğe döner ve gidiş dönüşte 3.199 hücre değişir. Biçim kaybı her iki çıkarımda da 422 hücrededir. 3 dk okuma
- 03 İndeksleme ve Dilimleme Aynı iki uç, 10.100 ve 10.200, dört ayrı yazımda dört farklı satır sayısı döndürüyor: etiketle dilimlenince 95 satır çünkü etiket dilimi son ucu içerir, aynı iki konumla dilimlenince 94 satır çünkü konum dilimi son ucu dışarıda bırakır, uçlar konum sanılıp yazılınca 100 satır, tekil olmayan dizinli uzun tabloda ise 230 satır. Çerçeve toplam tüketime göre sıralanınca etiket dizini sıralı olmaktan çıkar ve aynı dilim 617 satır döner; dizinde bulunmayan bir uç sıralı dizinde 22 satırlık bir dilim verirken sırası bozuk dizinde hata üretir. Dizinsiz doğrusal tarama 2.658 geçiş tutarken etiket dizininde ikili arama 21 geçişle aynı 95 satıra varır. 3 dk okuma
- 04 Filtreleme ve Sorgulama Endeksi 120.000'in üstündeki okumalar üç ayrı yazımla süzülüyor ve üç farklı satır sayısı çıkıyor: sayısal karşılaştırma 1.835 satır ve 36.435,83 m³, aynı koşulun değillemesi 2.026 satır ve 40.356,71 m³, sütun metin okunmuşken aynı karşılaştırma 1.915 satır ve 38.035,93 m³. Fark eksiklerdedir: değilleme 191 eksik satırın tamamını içeri alır, metin karşılaştırması 80 'yok' hücreyi alır çünkü harf rakamdan büyük sayılır. İki koşul birleşince fark büyür ve mantıkta denk yazılan iki ifade 446 ile 502 satır döner. Elle süzgeç zinciri 5.034 geçişte 16.184 baytlık ara tablo kurarken maske 6.398 geçiş yapar ve 3.399 bayt tutar. 6 dk okuma
- 05 Gruplama ve Toplulaştırma Böl, uygula ve birleştir adımları tek çağrıya sığıyor ve o çağrı iki kararı birden taşıyor: grup anahtarı boş olan 160 satır varsayılan gruplamada hiçbir grupta görünmez ve beş satırlık özetin toplamı 63.060,63 m³ yerine 60.025,56 m³ çıkar, yani kümenin yüzde 4,81'i hiçbir uyarı üretmeden düşer. Eksik anahtar korunduğunda özet 6 satır olur ve düşen kısım 3.035,07 m³ olarak görünür hale gelir. İkinci karar toplulaştırmanın paydasıdır: kuzey grubu 878 satır taşır ama endeks sütununda 831 dolu değer vardır ve ortalama, paydaya göre 126.247,9 ya da 119.489,8 çıkar. Ölçüt başına ayrı döngü 15.995 anahtar araması tutarken tek bölme 3.199 aramayla beş ölçütü besler. 11 dk okuma
- 06 Birleştirme İşlemleri 3.199 satırlık okuma tablosu ile 818 satırlık ziyaret tablosu aynı anahtar üzerinden dört türle birleştiriliyor ve dört farklı satır sayısı çıkıyor: iç birleştirme 1.965, sol dış 3.820, tam dış 3.856, çapraz birleştirme 2.616.782 satır. İç birleştirme 1.855 okumayı düşürür ve kalan 1.344 satırı 1.965 satıra açar; 621 satırlık bu çoğalma toplamı 26.450,81 m³'ten 38.701,46 m³'e taşır, yani 12.250,65 m³ fazla sayım üretir. Anahtarın ilişkisi çok çoka olduğu halde hiçbir yerde doğrulanmaz: sol taraftaki 468 satırın anahtarı sağda birden çok satıra karşılık gelir ve bu 468 satır sessizce 1.089 satıra açılır. Elle iç içe döngü 2.616.782 karşılaştırma tutarken dizinli birleştirme 4.017 geçişle biter. 11 dk okuma
- 07 Zaman Serisi İşlemleri 3.199 okuma yedi günlük dönemlere indirgeniyor ve hiç kayıt taşımayan 5 dönem için iki cevap çıkıyor: sıfır sayılırsa seri 13 satır, atlanırsa 8 satır olur. Toplam ikisinde de 63.060,63 m³'tür ve değişmez, ama toplamdan sonraki her hesap değişir. Haftalık ortalama 4.850,82 m³ ile 7.882,58 m³ arasında oynar; dönemden döneme yüzde değişimin 12 oranından 5'i sıfır paydaya düştüğü için tanımsız kalırken atlanmış seride 7 oranın hiçbiri tanımsız değildir; üç dönemlik hareketli ortalama 2026-02-12 döneminde 708,03 m³ ile 9.387,54 m³ arasında ayrılır. Aynı küme otuz günlük adımla 3 dönem verir ve hiçbiri boş değildir: boş dönemi yaratan şey veri değil adım kararıdır. 11 dk okuma
- 08 Metin İşlemleri 3.199 satırlık adres kodu sütununun 2.943'ü tam, 160'ı boş, 96'sı üçüncü parçasını taşımıyor. Elle yazılan döngü 20. satırda hata verip duruyor ve 0 satır üretiyor; aynı işi yapan vektörleştirilmiş zincir 3.199 satırın tamamını üretiyor, hiç hata vermiyor ve 256 satırı sessizce eksiğe çeviriyor. Zincirden sonra gelen süzgeç bu 256 satırı eşitlikte dışarıda bırakıp eşitsizlikte içeri alıyor: 1.004 ile 2.195 satır, toplamı tam olarak küme. Zincirin ilk adımı kodu küçük harfe çevirdiği için büyük harfli süzgeç 0 satır döndürüyor ve bu da uyarı üretmiyor. Bir metin sütunu üç ara serisiyle satır başına 32,6 bayt gösterge tutar ve aynı yapı 20 milyon satırda 0,61 gibibayta çıkar. 12 dk okuma