Ünite 03 / 04
Ölçek ve Başarım
Kümenin belleğe sığmadığı noktadan sonra soyutlamanın rahatlığından ne kaldığının sayılması: aynı sütunun üç tiple tuttuğu bayt ve kategorik tipin kazancı, parça boyutunun bellek tepesi ve geçiş sayısıyla ilişkisi ile parçalanamayan işlemler, satır tabanlı ile sütunlu okumanın aynı sorguda okuduğu değer sayısı, bölümleme ve veri taşımanın eklediği kalem ile dağıtıma geçişin kazanca döndüğü iş boyutu, süzgeç ve toplulaştırma kaynağa itildiğinde ağdan geçen satır sayısı.
Yayın Güncelleme
Dersler
- 01 Bellek Kullanımı Kurgu ölçüm ağının 3.199 satırlık kümesinde tek bir sütunun bellekte kaç bayt tuttuğu, o sütunun hangi tiple tutulduğuna bağlıdır: bölge sütunu nesne listesi olarak 173.837 bayt, sabit genişlikli metin olarak 19.251 bayt, kategorik kodla 3.628 bayt tutar ve kazanç 47,9 kattır. Aynı sütunun iki savunulabilir ölçümü arasında 6,6 kat fark vardır, çünkü ölçüm işlevi göstericiyi sayar ve işaret ettiği nesneyi izlemez. Okuma sütunu nesne listesinden 1 bayta indirildiğinde bellek 31,4 kat küçülür ama toplam 6,9 m³ kayar ve 108 satır tarife basamağı değiştirir; kategorik tip 5 farklı değerli sütunda 5,3 kat kazandırırken 1.329 farklı değerli sütunda 4,1 kat kaybettirir. 8 dk okuma
- 02 Parça Parça İşleme Kurgu ölçüm ağının 3.199 satırlık dosyası parça parça okunduğunda bellek tepesi parça boyutuyla düşer ama işlemin taşıdığı durum düşmez: 100 satırlık parçada tepe 36.132 bayt, kümenin tamamını tutmaya göre 32 kat küçüktür ve toplam dört parça boyutunda da 66.667,9 m³ çıkar. Toplam, sayım ve bölge kırılımı 3–5 öğelik durumla parça içinde biter; kesin medyan 321 kovalık histogramla, kesin farklı abone sayımı 1.329 öğelik durumla yürür ve o 87.166 bayt parça küçüldükçe küçülmez. Parçalama sessizce bir sıra varsayımı yapar: akan hesap abone sıralı dosyada 1.035 abone için sonuç verirken dönem sıralı dosyada hiç hata vermeden 0 abone için sonuç verir; parça sınırı bölgeye taşındığında parça ortalamalarının ortalaması genel ortalamadan 0,1039 m³ ayrışır. 11 dk okuma
- 03 Sütunlu Motorlar Kurgu ölçüm ağının 3.199 satırlık ve altı sütunlu kümesinde tek bir soru dört okuma yoluyla cevaplanıyor ve dördü de aynı sayıyı veriyor: satır tabanlı tarama 19.194 değer okur, sütunlu erken maddeleştirme 9.597, süzgeci öne alan geç maddeleştirme 4.869, blok atlamalı yol 2.835 değer okur ve kazanç 6,8 kata çıkar. Blok atlama kümenin o sütuna göre kümelenmiş olmasına bağlıdır; aynı küme abone sırasında yazılınca yedi bloğun dördü yerine ikisi, karışık sırada hiçbiri atlanmaz ve okunan değer 2.835'ten 4.883'e çıkar. Geç maddeleştirmenin kazancı da süzgecin seçiciliğine bağlıdır: eşleşen satır 835'ten 2.691'e çıktığında kazanç 1,97 kattan 1,12 kata düşer ve dağınık erişim 1.671'den 5.383'e çıkar. 10 dk okuma
- 04 Paralel ve Dağıtık Veri Çerçeveleri Kurgu ölçüm ağının 3.199 satırlık kümesi bölümlere ayrıldığında dağıtmanın kendi kalemi ortaya çıkıyor ve tek makinenin işinden büyük kalıyor: bölge anahtarıyla beş bölümlü bir dağıtım 11.651 birim, abone anahtarıyla dört bölümlü dağıtım 8.921 birim tutarken tek makine 3.199 birim harcar. Kalem üç parçadan oluşur — en büyük bölümün iş birimi, taşınan satır ve bölüm başına eşgüdüm — ve kazanca dönme eşiği bölümleme anahtarına göre değişir: dengeli anahtarla 10.833 satır, çarpık anahtarla 20.119 satır. Hizalanmamış bir sorgu bu eşiği hiç görmez; dönem bölümlemesinde satırların yüzde 66,7 kadarı yerinde kalmaz ve taşıma kalemi tek başına tek makine işinin 6,7 katına çıkar. 11 dk okuma
- 05 Sorguyu Veriye Götürmek Kurgu ölçüm ağının kaynağında 3.199 satır duruyor ve tek bir soru dört strateji ile cevaplanıyor; dördü de aynı sayıyı veriyor ama çözümleme ortamına taşınan kayıt sayısı 3.199'dan 5'e iniyor. Süzgeç kaynağa itildiğinde 835 satır, sütun seçimi de itildiğinde 1.670 değer, toplulaştırma da itildiğinde 10 değer taşınır ve kazanç 1.919 kata çıkar. Kazancın bedeli görünürlüktür: itilen toplam süzgeçten geçen 835 satırı, kaynaktaki 3.199 satırı ve grup başına satır sayısını getirmez, cevabın yanına kararı yazabilmek için taşınan değer 10'dan 27'ye çıkar ve oran 710 kata iner. Kazanç grup sayısına da bağlıdır: 3 gruplu kırılımda 3.199 kat, 15 gruplu kırılımda 426 kat, 835 gruplu kırılımda 11 kattır ve grup sayısı süzülen satır sayısına eşitlendiğinde sıfırlanır. 11 dk okuma