İçeriğe geç
academia.sh

Kurs Orta

Veri Depolama Mimarileri

Bu kursun sonunda

Kursa başla

01

Depolama Yaklaşımları

Aynı verinin dört ayrı yaklaşımla saklanmasının yazma ve okuma tarafına ne ödettiğinin sayılması: şemaya uyumlu depolamada dayatmanın reddettiği satır ile sorgunun okuduğu hücre, ham depolamada yazmanın ucuz okumanın pahalı olması ve hangi bozulma sınıfının yazma anında hiç yakalanamadığı, ham katman korunurken şema dayatmasının okuma anına taşınmasıyla yakalama gecikmesinin aynı birimle karşılaştırılması, bir bölgeye ait alt küme ayrı yazıldığında sorgu maliyeti ile aynı satırın kaç yerde durduğu, sahiplik dağıtıldığında düzen kararı alan taraf sayısı ile uçtan uca bir sorgunun dokunduğu düzen sayısı ve dosya sabitinin 60'tan 480'e süpürülmesiyle hangi sonuçların sabite duyarlı olduğu, katalog varken ve yokken bir varlığı bulmak için bakılan giriş sayısı ile katalogun kaç girişinin artık var olmayan bir düzeni gösterdiği.

  1. 01 Veri Ambarı Hattan çıkan 2200 satırın bir depolama düzenine indirilip bir sorgunun o düzene dokunmak için ödediğinin sayılması: bölümlemesiz ve satırlı tabanda dönem süzgeçli sorgu 15400 hücre ve 15520 maliyet, yalnız seçilen sütunlar okunduğunda 4400 hücre ve 4520 maliyet, dönem bölümlemesinde 400 hücre ve 520 maliyet. Aynı düzen bölüm anahtarı dışındaki süzgeçte 4520 yerine 5720 veriyor, yani düzen bir sorguya kazandırırken ötekine kaybettiriyor. Yazma anında şema dayatması altı bozulma sınıfının ikisini yakalayıp 400 satırı reddediyor, ama reddedilen 400 satırın 400'ünde ölçüm bozulmamış duruyor; şema satırı atıyor, sayıyı değil. Dosya sabiti 120 bir seçimdir: dönem sorgusundaki 4000 hücrelik kazanç sabitten bağımsız, öteki sorgudaki 1200'lük kayıp ise tamamen sabitin eseri ve on dosyaya eşit.
  2. 02 Veri Gölü Ham veriyi olduğu gibi saklamanın yazma tarafına kazandırdığının ve okuma tarafına ödettiğinin sayılması: göl 2400 satırı 14400 hücreye hiçbir dönüşüm yapmadan yazıyor, ambar 2200 satırı 15400 hücreye yazmak için 7200 satır işliyor; aynı dönem sorgusu gölde 14400 hücre ve 14520 maliyet, ambarda 400 hücre ve 520 maliyet veriyor ve gölün yazmada kazandığı 1000 hücre tek bir sorguda 14000 hücre olarak geri ödeniyor. Altı bozulma sınıfının yalnız ikisi tek satıra bakılarak görülebiliyor; ikisi bütün kümeyi, ikisi özeti gerektiriyor, yani yazma anındaki hiçbir satır kapısı dördünü göremez ve birim değişimi satır ile küme kapsamının ikisinde de görünmez. Aynı göl katmanını okuyan iki tüketici 1800 ve 2200 satır, 45 ve 55 özet hücresi, 48004 ve 58454 metreküp buluyor.
  3. 03 Göl Evi Yaklaşımı Ham katman korunurken şema dayatmasının okuma anına taşınmasının kazandırdığının ve kaybettirdiğinin sayılması: yazma kapısı altı bozulma sınıfının ikisini sıfır aşama gecikmeyle yakalıyor ve dördünü hiç yakalamıyor, hiçbir dayatması olmayan düzenek altısını da yakalamıyor, okuma anında dayatan düzenek altısını da yakalıyor ve ortalama gecikmesi 1,33 aşama oluyor. Ortalamanın yükselmesi kötüleşme değil, tanımsız dört değerin sonlu hâle gelmesidir. Alan adı değişimi altında ham katmanı koruyan düzenek 2200 düzenli satır üretiyor, kapıda eleyen düzenek 200 satırı reddedip 1800'de kalıyor; bedel saklanan hücrenin 12600 yerine 29800 olmasıdır. Birim değişimi hiçbir kapıya takılmadan düzenli katmana yazılıyor ve ancak dördüncü aşamada görülüyor.
  4. 04 Veri Pazarı Tek bir birime adanmış bir alt küme ayrı yazıldığında sorgu maliyetinin ne olduğunun ve aynı satırın kaç yerde durduğunun sayılması: üç soruluk bir kümede bölümlemesiz ambar 13.560, en iyi merkezî düzen 3.256, iki pazar 2.580 ödüyor ve pazarın kazancı bölge sorusunda sıfır, tip sorusunda 676. Bedel çoğalmadır: altı pazar 3.322 satır daha saklıyor, satır başına 2,51 kopya, 1.122 satır üç ayrı yerde duruyor. Geç gelen kayıt ambara işlendiğinde yenilenmemiş altı pazar 126 (satır, yer) çiftinde ayrışıyor ve yarı yenilenmiş bir kümede beş bölge pazarının toplamı 4.707, ambarınki 5.340 çıkıyor.
  5. 05 Veri Örgüsü ve Veri Ağı Sahiplik dağıtıldığında değişen iki sayının ölçülmesi: düzen kararı alan taraf sayısı ve uçtan uca bir sorgunun dokunduğu düzen sayısı. Merkezî kurulum 1/1, veri örgüsü 1/5, veri ağı 5/5 veriyor; beş yerel soru artı bir ülke sorusundan oluşan karışımda maliyet 3.120, 2.000 ve 6.280 çıkıyor. Ağın pahalı olmasının nedeni dağıtım değil ölçülmemiş anahtar seçimidir: iki birimin kararı tek başına 2.450 tutuyor. Ders dosya sabitini 60, 120, 240 ve 480 değerlerinde süpürüyor: iki sayı sabitten bağımsız, sıralama değil — örgü ile merkezînin eşitlendiği yer 400, ve budanmayan tek bir soru eklendiğinde dağıtık kurulum dört değerde de kaybediyor.
  6. 06 Meta Veri Kataloğu Bir veri varlığını bulmak için bakılan giriş sayısının katalog varken ve yokken sayılması: on iki varlık ve 119 dosyalık bir kümede beş arama katalogsuz 295, katalogla 29 giriş bakıyor ve en pahalı arama 117'den 11'e iniyor. Katalog bayatladığında sayı geri döner: üç varlık değişince on iki girişin üçü artık var olmayan bir düzeni gösteriyor, aynı beş arama katalogsuz 406, bayat katalogla 251 oluyor, fakat iki arama katalogsuz olandan pahalıya bitiyor (129'a karşı 122 ve 104'e karşı 100), çünkü ölü giriş taranıyor ve ardından tam tarama yine yapılıyor.

02

Modelleme ve Biçim

Tablonun şeklinin ve diske iniş biçiminin sorguya ödettiğinin sayılması: tek düz tabloya karşı olgu ile boyutun ayrılmasında saklanan hücre, birleştirme sayısı ve aynı sonuç, yıldız şemasında 2200 birleştirme ile 212 boyut satırına karşı kar tanesinde 4400 birleştirme ile 217 satır ve beş satır kazanmak için birleştirmenin iki katına çıkması, tarihçe tutmayan boyutun sorguyu yavaşlatmadan cevabı yanlışlaması ve işyeri toplamının 33145 yerine 35893 çıkarak 2748 metreküpü yanlış kovaya göndermesine karşılık tarihçe tutmanın boyut satırını 200'den 2200'e çıkarması, iki sütun seçildiğinde sütunlu okumanın 400 satırlı okumanın 1400 hücre okuması ve sütun sayısı arttıkça farkın kapandığı nokta, bölüm anahtarı dışındaki süzgeçte maliyetin 4520'den 11000'e çıkması ile budayan sorguda bile ince bölümlemenin okunan hücreyi hiç artırmadan maliyeti 520'den 1600'e taşıması, arşive taşımanın sıcak katmanda kazandırdığı ile geriye dönük yanıtlanamaz kıldığı soru.

  1. 01 Boyutsal Modelleme Olgu ile boyutun ayrılmasının sakladığı hücreyi ve sorguya ödettiği birleştirmeyi ölçme: aynı 2200 satır tek düz tabloda 15400 hücre tutarken olgu artı iki boyut düzeninde 7236 hücre tutuyor, 8164 hücre eksiliyor ve iki düzenin ürettiği tip başına toplam birebir aynı kalıyor; karşılığında sorgu tek dosyaya dokunup maliyet 4520 öderken olgu artı boyut iki dosyaya dokunup 4800 hücre okuyor, maliyet 5040 oluyor ve sıfır birleştirme 2200'e çıkıyor; bir bölgenin adı düzeltildiğinde düz tabloda 506 satır, boyutta 46 satır güncelleniyor.
  2. 02 Yıldız ve Kar Tanesi Şeması Normalleştirme derecesinin boyut tarafında kazandırdığı satırla sorgu tarafında ödettiği birleştirmenin ölçülmesi: bölge ayrı bir tabloya çıkarıldığında boyut satırı 212'den 217'ye, boyut hücresi 636'dan 646'ya çıkıyor ve birleştirme 2200'den 4400'e, yani iki katına yükseliyor, buna karşılık iki şemanın ürettiği bölge toplamı birebir aynı kalıyor; maliyet 5040'tan 5170'e çıkıyor ve farkın 120'si dosya sabitidir; bölge tablosu tek nitelik taşırken normalleştirme 10 hücre kaybettiriyor, ikinci nitelikte 185 hücre kazandırmaya başlıyor ve bir bölge adının düzeltilmesi 46 satır yerine 1 satıra dokunuyor.
  3. 03 Yavaş Değişen Boyutlar Tarihçe tutmayan bir boyutun sorguyu yavaşlatmadan cevabı yanlışladığının ölçülmesi: yirmi abonenin tipi bir dönemde değiştiğinde üzerine yazan boyut geçmiş dönemleri de bugünün tipiyle niteliyor, 100 olgu satırı yanlış kovaya düşüyor ve işyeri toplamı 33145 yerine 35893 çıkarak 2748 metreküpü yanlış kovaya gönderiyor; iki kovanın toplamı 58454'te aynı kaldığı, olgu satırı hiç değişmediği ve birleştirme sayısı 2200'de sabit durduğu için şema, tür, tekillik ve satır sayısı denetimlerinin dördü de yeşil kalıyor, dağılım denetimi ise 0,25 bandında görmüyor; tarihçe tutmanın bedeli boyut satırının 200'den 2200'e ve maliyetin 7240'tan 13440'a çıkmasıdır, geçerlilik aralığı ise aynı doğru cevabı 220 satır ve 7500 maliyetle veriyor.
  4. 04 Sütunlu Dosya Biçimleri Seçici okumanın ve sıkıştırmanın okunan hücre üzerinden sayılması: iki sütun seçildiğinde sütunlu okuma 400 hücre ve 520 maliyet, satırlı okuma 1400 hücre ve 1520 maliyet veriyor; seçilen sütun sayısı arttıkça fark 200'er hücre kapanıyor ve yedinci sütunda tam olarak sıfırlanıyor, yani sütunlu biçimin kazancı sorgunun okumadığı sütun kadar. Sıkıştırma okunan hücre üzerinden modellendiğinde bu kapanma noktası tablodan çıkıyor: yedi sütunun tamamı sütunlu düzende 851, satırlı düzende 1400 hücre. Kazanç ayrık değer sayısının değil koşu sayısının işi; bölge sütunu beş ayrık değer taşırken 158 koşu veriyor. Dosya içi sıralama tek bir sorgu için seçilir: bölge ile tipe göre sıralamak o sorguyu 253 hücreden 15'e indiriyor ama metreküp sütununu 196'dan 200'e, yani sıkıştırmasız değere geri çıkarıyor.
  5. 05 Bölümleme ve Dosya Düzeni Bölüm anahtarı seçiminin ve bölüm inceliğinin sorguya ödettiğinin sayılması: dört düzen aynı üç soruya birebir aynı cevabı veriyor (200, 1122 ve 46 satır) ama maliyetleri ayrışıyor. Süzgeç bölüm anahtarının dışına düştüğünde hiçbir dosya budanamıyor ve bölümlemesiz düzenin 4520 maliyeti dönem artı bölge düzeninde 11000'e çıkıyor; farkın tamamı dosya sabitinin elli dört kez fazladan ödenmesidir. Budayan sorguda bile incelik maliyeti 520'den 1000'e ve 1600'e taşıyor, buna karşılık okunan hücre üç düzende de 400'de duruyor: küçük dosya sorunu budur ve maliyetin sabit payı 120'den 600'e ve 1200'e çıkarken hücre payı hiç değişmiyor. Aynı on sorguluk üç ayrı karışımda en ucuz düzen üç ayrı düzen çıkıyor, dolayısıyla anahtar veriye değil sorgu karışımına bakılarak seçiliyor.
  6. 06 Veri Saklama Politikası Arşive taşımanın kazandırdığının ve kapattığının sayılması: altı dönemlik sıcak pencerede sıcak katman 2200 satırdan 1200'e, 55 dosyadan 30'a iner, anahtar dışı süzgeç kullanan sorgu 11000 yerine 6000 öder ve arşivlenen 1000 satır 25 özet girişine indiği için on iki dönemlik bölge toplamı 11000 yerine 6675'e mal olur; arşivlendikçe tam tarihli sorgu ucuzlar. Bedel çözünürlüktedir: bölge kırılımı on bir dönemin tamamında yanıtlanır ve sıcak katman ile arşiv toplamı tam veriyle birebir aynı çıkar, buna karşılık tip, abone ve bölge artı tip kırılımları yalnız altı dönemde yanıtlanır ve sırasıyla 10, 1000 ve 50 kova kapanır. Korumasız bir tip sorgusu hata vermez, işyeri toplamını 29932 yerine 16818 döndürür ve 13114 metreküp görünmez kalır. Ders kursun kapanışıdır.

Aramak için yazmaya başlayın.

↑↓ Esc gezin · aç · kapat