Ünite 03 / 03
Ölçekli Analiz
Aynı raporun tek makineye sığmayan bir küme üzerinde kurulduğunda hangi kısmının bölünebildiğinin sayılması: hacim, hız ve çeşitliliğin ölçülebilir birimlere indirgenmesi, eşle-indirge modelinde geçiş sayısı ile taşınan kayıt, küme üzerinde veri çerçevesi işlemenin eklediği eşgüdüm kalemi, sütunlu dosya düzeninin okuttuğu değer sayısı ve satır kümesi atlama kazancı, bölünemeyen payın hızlanmaya koyduğu tavan ve dağıtımın gereksiz olduğu iş boyutu.
Yayın Güncelleme
Dersler
- 01 Büyük Veri Kavramı Hacim, hız ve çeşitliliğin nitel iddia yerine sayılabilir birimlere indirgenmesi: kurgu ölçüm ağının 3.199 satırı bellekte 914.929 bayt tutar, satır başına 286,0 bayttır ve tek makineye sığmama eşiği çalışma alanı ile ara sonuç payı kararlarına göre 7.508.560 ile 240.273.951 satır arasında değişir. Aynı 1.260 sayaç dönemsel okumada 1.260, on beş dakikalık okumada 3.628.800 satır/dönem üretir; eşiğe kalan dönem 17.875'ten 7'ye, dönem başına yüzde 4 büyüyen ağda 168'den 6'ya iner. Beş kaynak şemasının 18 alanının 9'u birleştirilemez ve iki eşleme tablosu bu sayıyı 6'ya indirir; anahtar yokluğu kapanır, birim ve zaman biçimi çelişkisi kapanmaz. 10 dk okuma
- 02 Eşle-İndirge Modeli Dağıtık hesaplamanın en yalın soyutlaması üç işlevle kurulup koşturuluyor ve ölçü karışım geçişinde taşınan kayıt sayısı oluyor: sekiz kaynak parçasına yayılmış kurgu kümede bölge ortalaması önce karıştırıp sonra indirgeyen sırada 3.199, önce yerel indirgeyip sonra karıştıran sırada 40 kayıt taşır ve kazanç 79,97 kattır. Kazanç anahtar sayısına bağlıdır ve abone anahtarında 2,53 kata iner. Aynı soru iki anahtarla iki değer verir: doğu ortalaması satır ağırlıklı 24,674 m³, abone ortalamalarının ortalaması olarak 24,814 m³'tür ve iki geçişin taşıdığı kayıt 40'tan 1.305'e çıkar. İndirge işlevi birleşmeli değilse hesap modele girmez: toplam ve en büyük yedi ayrı parça sayısında da değişmez, parça ortancalarının ortancası yedi ayrı değer verir ve açıklığı 0,2175 m³'tür. 2 dk okuma
- 03 Dağıtık Analiz Motorları Küme üzerinde veri çerçevesi işlemenin iş başına eklediği eşgüdüm kaleminin sayılması: sekiz işlemlik bir zincirin üç geniş işlemi dört aşama sınırı çeker ve sekiz bölümde 100 eşgüdüm kalemi eder; kalemlerin hiçbiri satır işlemez ve sayıları iş boyundan bağımsızdır. Yeniden deneme baskın kalem değildir, yüzde 2'lik başarısızlıkta kalem sayısını yüzde 0-2, yüzde 15'lik başarısızlıkta yüzde 8-23 artırır. Ölçü bir eşgüdüm kalemine düşen satır sayısıdır: 3.199 satırda 61,5, 3.199.000 satırda 31.990 satır düşer ve oran 32.878'de doyar. Kalem başına 10.000 satır hedefi dört aşamalı zincirde 520.000, iki aşamalı zincirde 260.000 satırda karşılanır. 10 dk okuma
- 04 Sütunlu Depolama Biçimleri Analitik sorgulara uygun dosya düzeninin okuttuğu değer sayısının ölçülmesi: kurgu kümenin 3.199 satırı ve 7 sütunu 22.393 değer eder; aynı sorgu satır sıralı düz düzende 22.393, sütun sınırlı düzende 6.398, satır kümeli ve başlıklı düzende 2.069 değer okur ve yedi satır kümesinin beşi hiç açılmaz. Satır kümesi boyutu bir yazma kararıdır ve iki yönde de bedeli vardır: 32 satırlık kümede başlık 300 değer okutur, 3.199 satırlık tek kümede hiçbir şey atlanmaz; en az değer okutan boyut 64 satırdır ve 1.174 değerle 19,07 kat verir. Başlıkların hangisinin okunduğu ikinci karardır ve en iyi boyutu 64'ten 128'e taşır. Sütun sınırının kazancı sorgunun istediği sütun sayısıyla erir: yedi sütun isteyen sorguda 1,00 kata iner, satır kümesi atlaması 4,92 kat verir. 6 dk okuma
- 05 Paralel İşleme Sınırları Dağıtımın maliyeti ve ne zaman gereksiz olduğu, bölünemeyen pay ile hızlanma tavanı üzerinden sayılıyor: kurgu rapor zincirinin 6.753 dokunuşunun 310'u bölünemez, pay yüzde 4,59 ve tavan 21,78 kattır. Bölünemeyen pay yüzde 2 iken tavan 50, yüzde 30 iken 3,33 kattır ve 4.096 birim bile tavanı geçemez. Eklenen birim başına kazanç 0,91'den 0,00011'e iner; 256 birimden sonra her yeni birim binde ikiden az kazandırır. Tavanın iş boyuyla nasıl davrandığı bir varsayım kararıdır: bölünemeyen kalemler sabit sayılırsa tavan 206.388 kata çıkar, eşgüdüm kalemi ile satır kümesi başlığı iş boyuyla büyütülürse 43,64 katta doyar. Kurs kapanışı on sekiz dersin kaynaktaki ve geri okunan sayısını, müfredat kapanışı M26'nın altı kursunu ve 90 dersini tek tabloda toplar. 10 dk okuma