İçeriğe geç
academia.sh

Kurs Orta

Veri Toplama ve Hazırlama

Bu kursun sonunda

Kursa başla

01

Veri Toplama

Verinin çözümleme ortamına girerken kaç satır kaybettiğinin sayılması: aynı dosyanın iki ayrıştırma kararıyla okunması ve tırnaklı alan, satır sonu ve kodlama yüzünden sessizce düşen satır, sorgunun döndürdüğü satırın çözümleme birimiyle uyuşmaması ve birleştirmenin satırı çoğaltması, sayfalamayı yanlış tüketmenin atladığı kayıt ile hız sınırına uyan sıranın belirlediği toplama süresi, sayfa yapısı değiştiğinde kırılan seçici sayısı ve erişim izninin sınırı, üç örnekleme kararının aynı soruya verdiği üç cevap.

  1. 01 Dosya Biçimleri Önceki kursun 2.037 satırlık sayfasını üreten dışa aktarım dosyası iki ayrıştırma kararıyla okunuyor ve iki farklı küme çıkıyor: tırnak içini koruyan okuma 2.037 kaydın hepsini çıkarır, naif bölme 2.076 fiziksel satırdan 1.934 kayıt çıkarır ve 142 satırı hiçbir uyarı vermeden düşürür — 78'i adresindeki satır sonundan bölünmüş yarım satır, 64'ü alanı kayan satır. Kalan 1.934 kaydın 33'ü hayatta kalır ama okuma alanında adresten kaymış bir kapı numarası taşır; toplam 984,2 m³ ayrışır ve 1.157 kaydın bölge adı, dosya yanlış kodlamayla çözüldüğü için listeyle eşleşmez. Aynı 2.037 kayıt sütunlu yapıda tutulduğunda toplam okumayı öğrenmek 108.219 bayt yerine 4.074 bayt okumak demektir.
  2. 02 Veritabanından Veri Çekme Aynı depodan üç sorgu biçimi üç farklı satır kümesi döndürüyor ve hiçbiri hata vermiyor: okuma ile abone birleştirmesi 1.877 satır verir, ziyaret tablosu iç birleştirmeyle eklendiğinde 766 satır sessizce düşer ve 669 satır çoğalır — girişin yüzde 76 kadarı bozulur ama net satır kaybı yalnızca 97, toplam sapması yüzde 7,0 olduğu için sayıya bakan biri hasarı göremez. Sol birleştirme hiçbir satır düşürmez ama kümeyi 2.546 satıra çıkarır ve toplamı 1,34 katına taşır. Aynı soru üç kararla üç sayı verir: okuma satırı başına 20,61 m³, abone başına 27,64 m³, ziyaret satırına yayılmış kümede 20,21 m³.
  3. 03 Arayüzlerden Veri Toplama Aynı arayüzden üç toplama kararı üç farklı küme çıkarıyor ve üç yanıt da tamam dönüyor: dar kapsamlı belirteç 1.400 kayıt toplar ve geçmiş dönemin 477 satırını hiç istemeden dışarıda bırakır, konum tabanlı sayfalama tam 1.877 satır toplar ama 35 kaydı hiç almaz ve 35 kaydı iki kez alır, imleç tabanlı sayfalama 1.877 kaydın tamamını bir kez toplar. Konum tabanlı kararın genel toplamı 38.690,7 m³ ile birebir tutar çünkü atlanan ve yinelenen kayıtlar aynı okuma değerini taşır; hasar yalnız bölge kırılımında 70,5 m³ sapma olarak görünür. Hız sınırı altında sınır yanıtını boş sayfa sayan sıra 600 kayıtta durup 1.277 kaydı kaybeder; sınıra uyan sıra aynı kümeyi 38 istek ve 3 bekleme birimiyle eksiksiz toplar, sayfa boyu 200'e çıkarıldığında bekleme sıfıra iner.
  4. 04 Yapısal Ayrıştırma Aynı 1.877 satırı yayımlayan bir sayfa dört yapı sürümünde iki seçici setiyle okunuyor ve kırılan seçici sayısının hasarı ölçmediği çıkıyor: araya tek bir sarmalayıcı katman girince konumsal setin yol seçicisi kırılır ve 1.877 satırın tamamı düşer, ama kırılma gürültülüdür. Araya bir sütun eklendiğinde hiçbir seçici kırılmaz, 1.877 kayıt çıkar, hiçbiri düşmez ve hepsi yanlış alandan okunmuştur; toplam yalnızca 60,1 m³ sapar, yüzde 0,16, ve 1.877 kaydın bölge alanı artık bir bölge adı bile değildir. Sunum katmanı yenilendiğinde bu kez anlamsal setin iki seçicisi kırılır ve çıkan kayıt sıfıra iner. Sayfanın kendi bildirdiği toplamla hesaplanan toplamı karşılaştırmak, sessiz kaymayı yakalayan tek denetimdir.
  5. 05 Örnekleme 1.877 satırlık kütleden çekilen dört örneklem aynı iki soruya dört farklı cevap veriyor: kolay örnek ortalamayı 19,99 m³ ve üst tarife basamağının payını yüzde 33,0 verir, basit rastgele örnek 20,04 m³ ve yüzde 32,0, döneme göre tabakalı örnek 20,50 m³ ve yüzde 35,0, çekim birimi abone olan örnek 20,70 m³ ve yüzde 35,0; kütlenin kendi cevabı 20,61 m³ ve yüzde 35,4'tür. Kolay örneğin bölge temsil hatası 0,0 puandır ve tam da bu yüzden güven verir — aynı örneklemin dönem temsil hatası 25,4 puandır, çünkü ikinci dönemin 477 satırının tamamı ve 1.400 abonenin 1.200'ü dışarıda kalmıştır. Aynı rastgele karar on iki tohumda n=50 için 3,90 m³ genişliğinde, n=800 için 0,71 m³ genişliğinde bir aralık verir: tek bir örneğin hatası bilinemez, yayılımı ölçülür.

02

Temizleme

Satırların içi açıldığında ortaya çıkan bozuklukların ve düzeltme kararlarının satır hesabıyla ölçülmesi: eksikliğin rastgele olup olmadığı ve silme kararının orantısız elediği grup, kesin eşleşme ile benzerlik eşiğinin verdiği iki sayı ve yanlış birleştirilen kayıt, hatasız görünüp yanlış değer üreten sessiz tip dönüşümü, çeyrekler açıklığı ile standart puanın işaretlediği kümelerin örtüşmeyen kısmı ve aykırıyı silmenin ortalamayı oynatması, kategori birleştirme sonrası kalan kategori sayısı, metin normalleştirmenin kurtardığı ve sildiği eşleşme.

  1. 01 Eksik Değerler Toplama adımının bıraktığı 2.086 satırın okuma alanı üç ayrı biçimde boştur: 104 satırda hücre boş, 31 satırda yalnız boşluk, 70 satırda 'yok' yazılıdır. Eksiklik rastgele değildir — oran bölgeye göre yüzde 3,9 ile yüzde 28,1 arasında değişir ve bir bölge rastgele dağılımın beklettiği sayının 2,85 katını taşır. Eksik okumalı satırı silmek kümeyi 2.068'den 1.864'e indirir, ağ ortalamasını 22,45 m³'te bırakır ve zararsız görünür; oysa silinen 204 satırın 99'u tek bir bölgedendir ve o bölgenin küme içindeki payı yüzde 17,0'den 13,6'ya, 3,4 puan düşer. Yalnız boş hücreyi eksik sayan bir süzgeç 100 satırı görmez: 31'i sessizce sıfır tüketime döner, 69'u sayısal süzgeçten sessizce düşer ve ortalama 22,09 m³'e iner.
  2. 02 Yinelenen Kayıtlar Devralınan 2.068 satıra üç tekilleştirme ölçütü uygulanır ve üç sayı çıkar: tam satır karşılaştırması hiçbir satırı birleştirmez, ham sayaç kodu 68 satırı birleştirir, kırpılmış ve harf birliğine getirilmiş kod 188 satırı birleştirir — aradaki 120 satır tek bir metin kararının bedelidir. İkinci girişi olan 188 kaydın hepsinde adres, yüzde 92'sinde tarife sınıfı, yüzde 63,8'inde sayaç kodu farklı yazılmıştır ve hiçbirinde okuma değeri değişmemiştir. Tekilleştirmeden ayrı bir iş olan kimlik eşleştirmede 240 destek talebinin 149'u ham metinle, 174'ü sadeleştirilmiş kodla bağlanır ve altısı yanlış aboneye gider; 0,80 eşiğiyle kurulan 18 ek bağın 17'si yanlıştır. Adım 2.068 satırla girip 1.880 satırla çıkar.
  3. 03 Tip Dönüşümleri Devralınan 1.880 satırda okuma alanının 542'si virgüllü, endeks alanının 407'si binlik ayraçlı yazılmıştır. Yaygın sayıya çevirme çağrısı hiçbir hata üretmez ve hiçbir işlemi durdurmaz, ama 827 satırı bozar: 541 okuma ile 407 endeks yanlış değere döner, raporlanan tüketim toplamı 263,6 m³ eksik çıkar ve ortalama endeks 13.481'den 10.558'e iner. Tarih alanında biçimi tanımayan bir ayrıştırıcı 1.880 satırın 1.054'ünü doğru çözer, 361'ini yanlış aya yazar, 465'ini hiç çözemez ve bu satırlar tarih süzgecinden sessizce düşer; ocak döneminde yapılan ziyaret sayısı 1.388 yerine 805 raporlanır. Biçimi önce tanıyan dönüşüm aynı kümede sıfır bozuk kayıt ve sıfır kayıp satır verir.
  4. 04 Aykırı Değerler Devralınan 1.880 okumada çeyrekler açıklığı 64 satır, standart puan 14 satır işaretler; ikinci küme birincinin alt kümesidir ve örtüşmeyen kısım 50 satırdır. Fark yöntemlerin duyarlılığından değil, standart puanın kendi aykırısını gizlemesinden gelir: 1.880 satırda standart sapma 19,68 m³'tür, işaretli 64 satır ayrıldığında 6,35 m³'e iner ve aynı üç sigma ölçütü bu kez sıfır satır işaretler. Modelde ondalık noktası kaymış 15 okumanın 15'ini çeyrekler açıklığı, 14'ünü standart puan yakalar. İşaretlileri ayırmak ortalamayı 22,22 m³'ten 20,14 m³'e (2,08 m³, yüzde 9,4), medyanı 20,31'den 19,85'e, toplamı 41.774,8 m³'ten 36.578,3 m³'e çeker. Adım 1.880 satırla girip 1.816 satırla çıkar.
  5. 05 Kategorik Değerlerin Düzeltilmesi Devralınan 1.816 satırın tarife alanında 15 ayrı yazım geçer. Normalleştirme merdiveni kategori sayısını 15'ten sırayla 14, 9, 8 ve 6'ya, tarife cetvelinden gelen anlam eşlemesi 5'e indirir; dile duyarsız küçültme yalnız beş yazımı birleştirir ve iki yazımda görünmez bir iz bırakır. Satır sayısı hiç değişmez, ama sınıfların içi değişir: işyeri ile ticari birleştirilirse kategori 4'e iner ve 368 satır yanlış tarife basamağına taşınır, ticari sınıfı 389'dan 757'ye çıkar. Dile duyarsız küçültmeye göre yazılmış yedi girdilik bir eşleme tablosu 216 satırı sınıfsız bırakır, hiçbir hata üretmez ve tarife sınıfına göre gruplamada grupların toplamı 1.816 yerine 1.600 olur.
  6. 06 Metin Normalleştirme Devralınan 1.816 kaydın adres alanı, abone kütüğündeki 1.178 ayrı adresle ham metin olarak yalnız 325 kayıtta eşleşir. Normalleştirme merdiveni eşleşmeyi sırayla 604, 604, 937, 1.490 ve 1.816 kayda çıkarır: kırpma ve boşluk daraltma 279, dile duyarlı küçültme 333, işaret sadeleştirme 553, kısaltma açma 326 kaydı kurtarır — dile duyarsız küçültme ise sıfır. Toplam 1.491 kayıtta eşleşme kurtarılır. Bir basamak daha ileri gitmek, bütün ayraçları atmak, eşleşmeyi hiç artırmaz ve 13 anahtarda 26 ayrı adresi üst üste bindirir: 'No 5/2' ile 'No 52' aynı anahtara düşer ve 36 kayıt tek bir aboneye bağlanamaz hale gelir. Adım 1.816 satırla girip 1.816 satırla çıkar.

03

Dönüştürme

Kaynağa göre biçimlenmiş kümenin soruya göre yeniden biçimlendirilmesi ve her dönüşümün satır hesabı: birleştirmede eşleşmeyen, çoğalan ve düşen kayıt, geniş ile uzun biçim arasındaki dönüşümün kayıpsız olup olmadığı, toplulaştırma sonrası kalan satır ve kaybolan grup içi değişkenlik, türetmenin tanımsız kaldığı satır sayısı, sırasız bir kategoriyi sıralı kodlamanın ürettiği yanlış sonuç, hazırlama adımlarının betikle belgelenmesi ve kaç adımın yeniden üretilebildiği.

  1. 01 Birleştirme ve İlişkilendirme Temizlenmiş 1.329 abone ile 3.471 okuma anahtar üzerinden birleştirilir ve iç birleştirme 3.302 satır verir: 169 okuma aboneyi bulamadığı için, 69 abone hiç okuma taşımadığı için hiçbir uyarı üretmeden düşer. Dış birleştirme aynı kümeden 3.371 satır çıkarır. Anahtarın tanesi yanlış seçildiğinde okuma ile ziyaret tablosu 3.302 satırdan 2.047 satıra iner ama bu iniş bir eleme değildir: 1.901 okuma düşerken 488 okuma 1.134 satıra çoğalır ve toplam tüketim 65.185,6 m³'ten 40.374,1 m³'e kayar. Aynı abone ve dönem çiftinin iki kez geçtiği 103 satır ise toplamı 2.124,9 m³ şişirir.
  2. 02 Yeniden Şekillendirme 3.199 satırlık uzun biçimli küme 1.260 satır ve üç dönem sütunundan oluşan geniş biçime çevrilir; 3.780 hücrenin 3.199'u dolar, 581'i boş kalır. Yineleyen abone ve dönem çifti taşıyan 3.302 satırlık küme aynı geniş biçime sığmaz ve 103 satır hiçbir uyarı üretmeden üzerine yazılır. Geri dönüşün üç kararı üç ayrı satır sayısı verir: boş hücre atlanırsa 3.199 satır ve 19,713 m³ ortalama, boş hücre sıfırla doldurulursa 3.780 satır ve 16,683 m³, doğruluk sınamasıyla atlanırsa 119 gerçek sıfır okuma da silinir, 3.080 satır ve 20,474 m³ kalır. Üç yolda da toplam 63.060,6 m³'te sabittir.
  3. 03 Gruplama ve Toplulaştırma 3.199 satırlık küme dört gruplama kararıyla 5, 15, 53 ve 1.260 satıra iner; bölge, tarife basamağı ve dönem çaprazının 60 gözünden 7'si hiç satır taşımaz ve çıktıda hiç görünmez. Aynı kümeden üç genel ortalama çıkar: 3.199 satırdan 19,713 m³, beş bölge satırından 19,532 m³, 53 hücreden 20,721 m³. Beş satırlık özet 3.199 okumanın 431'inin kendi grup ortalamasından yüzde elliden fazla saptığını, 58 okumanın 40 m³'ü aştığını ve doğu ile batı bölgelerinin 50 okumada yer değiştirdiğini taşımaz.
  4. 04 Türetilmiş Değişkenler 3.199 satırlık kümeye iki türetilmiş değişken eklenir ve ikisi de satır sayısını değiştirmez; çıkan yine 3.199 satırdır. Kişi başı tüketim 328 satırda tanımsız kalır — 216 satırda hane sıfır, 112 satırda hane bilgisi hiç yok — ve iki sebep aynı sonuçta birleştiği için çıktıdan ayırt edilemez. Aynı soruya dört savunulabilir yol dört cevap verir: sayı olmayan değer, 9,972, 8,604 ve 7,735 m³. Tanımsız satırları süzen yol 6.372,0 m³'ü, yani toplam tüketimin yüzde 10,1'ini hesabın dışında bırakır ve süzgeç bölgelere eşit inmez: pay yüzde 5,4 ile yüzde 21,2 arasında değişir. Dönem değişim oranı uzun biçimde 1.334 satırda tanımsızdır, beklenen göz kümesinde ise 581 göz hiç sayılamaz.
  5. 05 Kategorik Kodlama 3.199 satırlık kümenin üç kategorik alanı kodlanır: sıralı kodlama 3 sütun, sırasız kodlama 14 sütun ekler ve ikisi de tek bir satır düşürmez. Sırasız bir alan olan bölge sıralı kodlandığında kod, veride bulunmayan bir sıradan gelir: üç savunulabilir sıralama aynı eşiği aynı veriye uygular ve 2.166, 1.678 ve 1.633 satır seçer, ortalamalar 19,741 — 18,480 — 20,661 m³ olur. 3.199 satırın hiçbiri üç kararın üçünde birden seçilmez, 921 satır yalnız birinde seçilir. Sıralı bir alanda aynı deney tek bir cevap verir: iki farklı kodlama memnuniyet eşiğinde aynı 1.615 satırı ve aynı 19,584 m³'ü verir.
  6. 06 Yeniden Üretilebilir Hazırlama Kursun on yedi hazırlama adımı veri olarak yazılır: 39 karar, üç konuya 13'er kalem. Adımların ölçtüğü sessiz kayıp toplamı 4.614 kayıttır ve bunun yalnız 69'u benimsenen hatta gerçekleşmiştir; kalan 4.545 kayıt seçilmeyen yaygın kararın ölçülmüş bedelidir. Üç adım parametresini betikten değil koşum ortamından alır ve aynı veriyle iki koşum üçünde de farklı sonuç verir; hattın 17 adımının 14'ü yeniden üretilebilirken değerler betiğe yazılınca 17'si yeniden üretilebilir olur. Kararın geri okunabilirliği hücrelerde 32'de 7 (yüzde 22) iken betikte defter tutulmadan 39'da 36, koşum defteriyle 39'da 39'a çıkar.

Aramak için yazmaya başlayın.

↑↓ Esc gezin · aç · kapat