İçeriğe geç
academia.sh
en
Giriş yap

Kurs İleri

Dağıtık Veri İşleme

Bu kursun sonunda

Kursa başla

01

Dağıtık Hesaplama

Bir işin birden çok makineye bölünmesinin temel soyutlamalarının kurgu bir küme üzerinde kurulması ve her soyutlamanın kendi bedelinin sayılması: sürücünün planı, yürütücünün payı ve görevin tanımı ile tek işçilik tabanın 2250 süre ve 2200 toplam iş vermesi, blok yerleşimi ile çoğaltmanın okumayı yerelleştirdiği durum ve çoğaltma katsayısının sakladığı blok sayısı, eşle ve indirge soyutlamasında hangi adımın yerel kaldığı ile hangisinin ağa dokunduğu, satırların bölümlere ayrılması ve tembel değerlendirmenin hiç kullanılmayan hesabı elemesi, kaynak yöneticisinin işçi sayısı ile eşzamanlı görev arasındaki dengeyi kurarken beklettiği görev sayısı ve her işçiye iş vermenin elli birimlik sabit bedeli.

  1. 01 Küme Hesaplama Temelleri Bir işin birden çok makineye bölünmesinin sürücü, yürütücü ve görev soyutlamalarıyla kurulması ve bölmenin iki ayrı sayıyla ölçülmesi: hattan çıkan 2200 satır tek işçide süre 2250 ve toplam iş 2200 verirken dört işçiye abone anahtarıyla bölündüğünde süre 611'e iniyor, bölge anahtarıyla bölündüğünde dört işçinin ikisi boş kalıyor, çarpıklık 1,02 yerine 3,32 oluyor ve süre yalnızca 1876'ya inebiliyor; üç kurulumun toplam işi birebir aynı 2200 olduğu için hangisinin ölçüldüğü yazılmayan bir hızlanma iddiası eksik kalıyor.
  2. 02 Dağıtık Dosya Sistemleri Veriyi bloklara ayırıp kümeye yerleştirmenin ve bir bloğu işleyen işçinin onu zaten tutup tutmadığının ölçülmesi: 2200 satır 100 satırlık 22 bloğa ayrıldığında tek kopyayla ve blok sırasına göre atamada 22 bloğun yalnız 5'i yerel okunuyor, süre 1850 ve toplam iş 5600 oluyor, çoğaltma katsayısı 2'de yerel blok 17'ye ve süre 1150'ye, 3'te 22'ye ve 650'ye iniyor ama saklanan blok 22'den 66'ya çıkıyor, dördüncü kopya okumaya hiçbir şey katmıyor; yerellik farkındalı atama tek kopyayla 22 bloğun 22'sini yerel okuyor ama yerleşim dengesiz olduğu için süre 650 yerine 750'de kalıyor.
  3. 03 Eşle-İndirge Modeli Bir hesabın satır başına bağımsız işleyen bir adımla anahtar başına toplayan bir adıma ayrılmasının ve iki adımdan yalnız birinin ağa dokunmasının ölçülmesi: eşleme 2200 satırı yerel işleyip 0 satır taşıyor, süre 611 ve toplam iş 2200 kalıyor, aynı sonucu üreten indirgeme adımı abone düzeninden bölge anahtarına 1738 satır taşıyor ve toplam işi 7414'e, süreyi 1914'e çıkarıyor; her işçi kendi payını taşımadan önce indirgediğinde taşınan satır 20 ara satırdan yalnız 15'i oluyor, toplam iş 2245'e ve süre 622'ye iniyor ve üç kurulumun sunduğu beş bölge toplamı birebir aynı kalıyor.
  4. 04 Dağıtık Veri Kümeleri Bir dağıtık veri kümesinin bölümlerden ve henüz koşmamış bir plandan oluşması ile tembel değerlendirmenin elediği hesabın sayılması: on bir bölüm dört işçiye üçer üçer ve bir kez ikili dağılırken istekli kurulum beş satırlık bir sonuç için 44 bölüm açıp 6556 satır okuyor ve 3727 ara satır yazıyor, aynı sonucu tembel kurulum tek bölüm açarak 200 satırla veriyor ve 2000 satır hiç okunmadan kalıyor, yüz satırlık sonuçta okunan satır üçe katlanırken üç bölüm üç ayrı işçide koştuğu için süre 250'de kalıyor, bütün sonucu isteyen sayma eyleminde tembel kurulum 2200 satır okuyor ve fark yalnız kullanılmayan daldan ile ara satır yazımından geliyor, planın kurulması hiçbir satır okumadığı için plandaki tür hatası ancak ilk eylemde ve 200 satır okunduktan sonra görünüyor.
  5. 05 Kaynak Yöneticileri Bir işin küme üzerinde zamanlanmasında görev sayısı ile eşzamanlı görev sayısının ayrı iki düğme olduğunun ve her görevin elli birimlik sabit bedelinin nereye gittiğinin sayılması: tek görev tek yuvada süre 2250 ve sabit bedel 50 iken on altı görev on altı yuvada süre 215'e iniyor ama sabit bedel 800'e çıkıyor, eşzamanlılığı büyütmek sabit bedeli hiç değiştirmezken görev sayısını büyütmek onu görev başına elli birim artırıyor, aynı eşzamanlılıkta işi daha çok göreve bölmek süreyi 611'den 950'ye yükseltiyor, süre kazancı sekiz görevden on altıya geçerken 121'de kalıp eklenen 400 birimlik sabit bedele yeniliyor, ve aynı kümede iki iş çalıştığında öncelikli ile paylaşımlı politika bitiş sıralarını değiştiriyor ama ödenen 600 birimlik sabit bedeli değiştirmiyor.

02

Başarım

Dağıtık bir işin nerede yavaşladığının ve hızlandırma girişimlerinin ne zaman işi kötüleştirdiğinin sayılması: aynı düzende karıştırmanın 1738 satır taşıyıp süreyi 611'den 1914'e ve toplam işi 2200'den 7414'e çıkarması, olgu tarafı bölgeyle bölünmüşken yayınlı birleştirmenin 1600 satırlık boyuta kadar kazanması ve kesişme noktasının 1600 ile 4000 arasında bulunması, abone anahtarında 1,02 olan çarpıklığın bölge anahtarında 3,32'ye çıkması ve dört işçinin ikisinin boş kalmasıyla işçi eklemenin anlamsızlaşması, ara sonucun önbelleğe alınmasıyla iki sorgunun toplamının 5500'den 3300'e inmesi, kontrol noktası aralığının altıdan üçe indirilmesinin aynı düşme noktasında yeniden hesaplanan satırı 400'de bırakması, tek işçide 2250 olan sürenin ikinci işçiyle 3691'e çıkması ve süre inerken toplam işin 5830'dan 8635'e çıkmasıyla hangi sayının ölçüldüğünün yazılması zorunluluğu.

  1. 01 Karıştırma Maliyeti Dağıtık bir işin nerede yavaşladığının ilk kez sayılması: aynı 2200 satır abone anahtarıyla bölünmüşken abone anahtarına yeniden bölüştürüldüğünde taşınan satır 0 kalıyor, süre 611 ve toplam iş 2200 oluyor; aynı satırlar bolge anahtarına karıştırıldığında 1738 satır ağdan geçiyor, süre 1914'e ve toplam iş 7414'e çıkıyor, üstelik üç kurulum da birebir aynı sonucu üretiyor. Ağ bedeli 1, 3, 6 ve 12 değerleriyle süpürüldüğünde taşınan satır hiç değişmiyor ve karıştırmasız kurulumun 611 ile 2200'ü de sabit kalıyor, buna karşılık karıştırmalı kurulumun süresi 1045'ten 5825'e ve toplam işi 3938'den 23056'ya taşınıyor; üç anahtarın sıralaması dört değerde de aynı çıkıyor, dolayısıyla sıralama seçime duyarsız, büyüklük tümüyle seçimin cinsinden. Karıştırmanın bedeli hesabın kendisinden değil verinin yerinden oynatılmasından geliyor.
  2. 02 Ölçekte Birleştirme İki kümeyi karşı karşıya getiren bir işin iki ayrı stratejiyle ölçülmesi ve kazananın değiştiği noktanın sayılması: olgu tarafı bolge anahtarıyla bölünmüşken yayınlı birleştirme boyut tarafını her işçiye kopyalıyor ve 50 satırlık boyutta 1926, 400'de 2276, 1600'de 3476 süre yazıyor; bölümlü birleştirme ise boyut ne kadar küçük olursa olsun olgu tarafının 1738 satırını taşımak zorunda olduğu için 3207'nin altına inemiyor. Yayınlının süresi boyut satırı başına bir birim, bölümlününki dörtte üç birim büyüdüğü için iki doğru kesişiyor: 2978 ve 2979'da süre eşitleniyor, 2980'de bölümlü öne geçiyor ve 4000'de fark 5876'ya karşı 5429 oluyor. Aynı kesişme noktası toplam iş ölçüldüğünde de 2980 çıkıyor. Karar ağ bedeline duyarlıdır: bedel 1 iken kesişme noktası 535'e iniyor, 6 ve 12'de bölümlü hiçbir boyutta öne geçemiyor. İki strateji her boyutta aynı satırları eşleştiriyor.
  3. 03 Veri Çarpıklığı Dengesiz bölüşümün ölçülmesi ve işçi eklemenin neden bir çözüm olmadığının sayılması: aynı 2200 satır abone anahtarıyla bölüştürüldüğünde dört işçinin yükü 539 ile 561 arasında kalıyor ve çarpıklık 1,02 çıkıyor, bolge anahtarıyla bölüştürüldüğünde yük 374, 0, 0 ve 1826 oluyor, çarpıklık 3,32'ye çıkıyor ve iki işçi hiç satır almıyor. Yanlış anahtarla işçi sayısı artırıldığında çarpıklık 1,66'dan 3,32'ye, 6,64'e ve 6,88'e çıkıyor, boş işçi sayısı 0'dan 13'e yükseliyor; tek işçide 2250 olan süre iki işçiyle 3691'e çıkıyor ve tabanın altına ancak on altı işçide iniyor, bu arada toplam iş 2200'den 8635'e taşınıyor. Doğru anahtarla ise hiçbir işçi sayısında satır taşınmıyor, toplam iş 2200'de sabit kalıyor ve süre 215'e kadar iniyor. Üç bölüşüm de bölge toplamlarının birebir aynısını üretiyor.
  4. 04 Önbellekleme ve Kalıcılık Aynı ara sonucun birden çok sorgu tarafından okunduğunda iki kez hesaplanmasının ve önbelleğin tutulmadığı durumda geri gelen bedelin sayılması: 2200 satırlık ara sonucu paylaşan iki sorgunun toplamı önbelleksiz 5500, önbellekli 3300'dür, ama tek sorguda ikisi de 2750'dir ve önbellek hiçbir şey kazandırmaz. Ara sonuç dört işçinin belleğinde 539, 550, 561 ve 550 satır olarak durur; işçiler düştükçe toplam 3300'den 3850, 4411, 4961 ve 5500'e çıkar ve hiç tutulmayan önbellek tam olarak önbelleksiz kurulumun bedelini öder, oysa plan 3300'e göre yapılmıştır. Tek bir işçinin düşmesi toplamı 3839 ile 3861 arasına taşır. Aynı önbellek karma toplamda yüzde 40, toplam işte yüzde 25, sürede yüzde 23,91 kazanç gösterir ve üç sayının hangisinin ölçüldüğü yazılmadan hızlanma iddiası eksiktir.
  5. 05 Akış Motorlarında Durum Sürekli akan bir işte düşen bir işçinin ne kadarını geri istediğinin ve denetim noktası sıklığını artırmanın bu sayıyı gerçekten indirip indirmediğinin sayılması: 2200 satırlık akan işte 2026-09 döneminde düşme olduğunda denetim noktası yokken 1600 satır yeniden hesaplanır, aralık 6'da 400, aralık 3'te yine 400, aralık 1'de 0. Aralığı yarıya indirmek kurtarmayı yarıya indirmez, çünkü düşmeden önceki son nokta yerinden oynamamıştır; aralık 4 aynı düşmede 0 verir. On bir düşme noktasının tamamı tarandığında aralık 6 ortalama 545,5, aralık 3 ise 218,2 satır yeniden hesaplatır, ama kesin bedel 400'den 800'e çıkar; en kötü duruma göre aralık 4 ile 3 beraberdir, ortalamaya göre aralık 4 kazanır. Düşme olasılığı 1'den 0,5'e indiğinde en iyi seçim denetim noktası tutmamaya döner. Bölümlü durumda düşen tek işçi 1600 yerine 408, 400 yerine 102 satır geri ister ve tam bir kez tam olarak o satır kadar durum tutmayı gerektirir.
  6. 06 Maliyet ve Küme Boyutlandırma Bir kümenin kaç işçiyle kurulacağı kararının süre ile toplam iş arasında verildiğinin ve iki sayının ters yönlere gittiğinin sayılması: aynı 2200 satırlık iş bir, iki, dört, sekiz ve on altı işçide süre 2250, 3691, 3179, 2610 ve 1398, toplam iş 2200, 5830, 7414, 8074 ve 8635 verir; süre inerken toplam iş çıkar ve hangisinin ödendiği yazılmadan boyutlandırma kararı verilemez. İkinci işçinin süreyi 2250'den 3691'e çıkarması karıştırmanın doğmasından gelir ve çarpıklığı 1,00 olan iyi bir anahtarda bile 2250'den 2800'e çıkış görülür. İşçi ile sürenin çarpımı 2250'den 22368'e tek yönlü tırmanır, sabit bedel işçi başına sayıldığında on altı işçinin kazancı 852'den 102'ye iner ve ağ bedeli 12'ye çıktığında en kısa süreyi veren kurulum tek işçiye döner. Ders kursun kapanışıdır ve on bir dersin sayılarını tek tabloda toplar.

Aramak için yazmaya başlayın.

↑↓ ↵ Esc gezin · aç · kapat