İçeriğe geç
academia.sh
en
Giriş yap

Kurs Orta

Python ile Veri Analizi

Bu kursun sonunda

Kursa başla

01

Sayısal Hesaplama

Dizi soyutlamasının kazandırdığı ile gizlediğinin sayıyla ayrılması: yalıtılmış ortamda aynı defterin başka bir makinede aynı sayıyı vermesi için sabitlenmesi gereken kalem, aynı toplama işinin listeyle ve dizi arayüzüyle tuttuğu satır, geçiş ve bayt, vektörleştirmenin gizlediği tip yükseltme ve taşma, uyumsuz biçimlerde yayılımın hata yerine beklenmedik bir dizi vermesi, matris çarpımı ve çözümde elle döngü ile soyutlamanın geçiş sayısı farkı.

  1. 01 Çalışma Ortamı Bir defterin başka bir makinede aynı sayıyı vermesi için sabitlenmesi gereken kalemler sayılır: dokuz ortam kalemi ve M26/K03'ün on yedi adımlık hazırlama defteri karşılıklı yazıldığında hiçbir şey sabitlenmezken 17 adımın 2'si, bağımlılık listesiyle 5'i, kilit dosyasıyla 11'i yeniden üretilir; kalan 6 adım kilit dosyasının hiç yazmadığı beş kaleme bağlıdır. Aynı defter iki makinede koşturulduğunda yerel ayar 1.260 sayaç endeksinin tamamını değiştirir ve toplamı 1.236.664,22'den 41.433.984,33'e taşır, parça sayısı ortalamayı 0,006053 m³ oynatır (eşiğin 12 katı), defter hücre sırası 40 m³ üstü hücre sayısını 1.116'dan 1.264'e çıkarır.
  2. 02 Diziler Kursun ölçü birimi kuruluyor: aynı iş (abone başına toplam, genel ortalama, 40 m³ üstü hücre sayısı) iç içe listelerle ve bir dizi arayüzüyle yapılır ve satır sayısı 22'den 2'ye, ayrılan bayt 188.864'ten 30.320'ye (öğe başına 49,96'dan 8,02 bayta) düşerken geçiş sayısı 3'ten 3'e, yani hiç düşmez. Gizlenen karar dizinin boş değeri olmamasıdır: 581 boş hücre sıfırla doldurulduğunda ortalama 26,993180, nöbetçi değerle 26,839476, yalnız dolu hücrelerle 31,895661 m³ çıkar; 40 m³ üstü sayım üç kararda da 1.116'dır. Öğe tipi seçimi 3.780 öğeyi 7.560 ile 30.240 bayt arasında tutar.
  3. 03 Vektörleştirilmiş İşlemler Aynı türetme işi tek döngüyle ve vektörleştirilmiş çağrı zinciriyle yapılır: satır sayısı 10'dan 2'ye düşerken geçiş sayısı 1'den 3'e, ayrılan bayt 30.320'den 90.960'a çıkar; zincirdeki her halka bir geçiş ve bir ara dizi ekler. Çağrının sessizce verdiği üç karar sayılır: tek bir kesirli sabit zinciri 64 bite taşır ve ayrılan baytı 30.400'den 60.720'ye çıkarır, 16 bit öğe tipi 3.780 öğenin 1.538'ini kaydırarak 102.034,22 m³ toplamı 1.239,85 m³ gösterir, nöbetçi değerle işaretlenmiş 581 boş hücrenin ilk işlemden sonra 0'ı ayırt edilebilir kalır ve aşımı sıfır görünen hücre sayısı 1.783'e çıkar.
  4. 04 Yayılım Yayılım kuralı standart kitaplıkla modellenir ve sekiz biçim çifti üzerinde koşturulur: 4 çift doğru sonuç, 2 çift hata, 2 çift sessizce beklenmedik biçimde bir dizi üretir. Sessiz durumun bedeli sayılır: (1260, 1) ile (1, 1260) çarpımı 1.260 öğe yerine 1.587.600 öğe verir, ayrılan bayt 10.160'tan 12.700.880'e çıkar, öğelerin yalnız 1.260'ı doğrudur ve raporlanan kişi başı ortalama 36,938180 yerine 36,497564 m³ olur. İkinci sessiz durumda dönem tabanı 3 değer yerine 9 değer üretir ve düzeltilmiş taban toplamı 83,901904 m³ yerine 251,846368 m³ çıkar.
  5. 05 Temel Doğrusal Cebir İşlemleri Matris çarpımında soyutlamanın işlem sayısını değiştirmediği ölçülür: 11.340 çarpma iki yolda da aynı kalır, çağrı yerindeki satır 13'ten 2'ye iner ve 26.460 elle dizin hesabı ortadan kalkar. Çözümde kazanç bir algoritma seçimidir: tanımdan yazılan kofaktör açılımı n = 12 için 823.059.744 işlem ister, eleme 704 işlemle biter, oran 1.169.119 kattır. Gizlenen karar pivotlamadır — işlem sayısı 14'te sabit kalırken pivotsuz eleme ilk katsayı küçüldükçe artığı 8,538e-11'den 7,237e+01'e taşır ve katsayı sıfırlandığında hiç çözüm üretmez. Kötü koşullanmış bir tarife sisteminde girdideki tek bir 0,01 m³ değişiklik ilk basamağın birim fiyatını yüzde 50,09 oynatır.

02

Veri Çerçeveleri

Etiketli veri yapılarının üstlendiği kararların tek tek görünür kılınması: dizin eşleşmesinin toplamada ürettiği satır sayısı, tip çıkarımının sessizce yanlış okuduğu sütun, etiket ile konum tabanlı dilimlemenin farklı satır döndürmesi, eksik değerin üç karşılaştırmada üç farklı süzgeç sonucu vermesi, grup anahtarındaki eksik değerin sessizce düşmesi, iç, dış ve çapraz birleştirmenin ürettiği satır sayısı ve çoğalma, yeniden örneklemede boş dönemin sıfır mı atlanmış mı sayıldığı, vektörleştirilmiş dizgi işlemlerinin eksik değerdeki davranışı.

  1. 01 Seri ve Veri Çerçevesi Ocak ve şubat okumaları abone başına toplanıyor ve aynı iki seri üç hizalama kipinde üç farklı sonuç veriyor: konum tabanlı toplama 1.101 satır üretir ve bu satırların yalnız 4 tanesinde iki etiket aynı aboneyi gösterir, ama toplam 44.271,89 m³ ile doğru cevabın 119,13 m³ yakınındadır. Etiketle iç hizalama da 1.101 satır verir ve hepsi doğrudur; etiketle dış hizalama 1.260 satır verir ve 159 satırı eksiktir. Etiket dizini kurmayan elle hizalama 781.710 etiket karşılaştırması yaparken seri toplaması 2.361 geçişle aynı sonuca varır. Eksik tarafın sıfır sayılması toplamı 44.391,02 m³'ten 47.707,44 m³'e taşır.
  2. 02 Veri Okuma ve Yazma 3.199 satır ve 7 sütunluk 139.238 baytlık bir dosya tek çağrıyla okunuyor ve tip çıkarımı 7 sütunun 3'ünü yanlış tiple veriyor: abone numarası tam sayı olduğu için ortalaması 10.690,5 diye hesaplanabiliyor, tarife basamağının ortalaması 27,4 m³ çıkıyor, endeks sütunundaki 3.008 sayısal değer 80 'yok' yüzünden metne dönüyor ve sütunun en büyük değeri 'yok' oluyor. Çıkarım bütün satırlar yerine ilk 100 satırdan yapılınca geçiş sayısı 22.393'ten 700'e iner, ama sayaç numarası tam sayıya kayar: 2.077. satırda başlayan harfli kodların 1.123 hücresi hiçbir uyarı üretmeden eksiğe döner ve gidiş dönüşte 3.199 hücre değişir. Biçim kaybı her iki çıkarımda da 422 hücrededir.
  3. 03 İndeksleme ve Dilimleme Aynı iki uç, 10.100 ve 10.200, dört ayrı yazımda dört farklı satır sayısı döndürüyor: etiketle dilimlenince 95 satır çünkü etiket dilimi son ucu içerir, aynı iki konumla dilimlenince 94 satır çünkü konum dilimi son ucu dışarıda bırakır, uçlar konum sanılıp yazılınca 100 satır, tekil olmayan dizinli uzun tabloda ise 230 satır. Çerçeve toplam tüketime göre sıralanınca etiket dizini sıralı olmaktan çıkar ve aynı dilim 617 satır döner; dizinde bulunmayan bir uç sıralı dizinde 22 satırlık bir dilim verirken sırası bozuk dizinde hata üretir. Dizinsiz doğrusal tarama 2.658 geçiş tutarken etiket dizininde ikili arama 21 geçişle aynı 95 satıra varır.
  4. 04 Filtreleme ve Sorgulama Endeksi 120.000'in üstündeki okumalar üç ayrı yazımla süzülüyor ve üç farklı satır sayısı çıkıyor: sayısal karşılaştırma 1.835 satır ve 36.435,83 m³, aynı koşulun değillemesi 2.026 satır ve 40.356,71 m³, sütun metin okunmuşken aynı karşılaştırma 1.915 satır ve 38.035,93 m³. Fark eksiklerdedir: değilleme 191 eksik satırın tamamını içeri alır, metin karşılaştırması 80 'yok' hücreyi alır çünkü harf rakamdan büyük sayılır. İki koşul birleşince fark büyür ve mantıkta denk yazılan iki ifade 446 ile 502 satır döner. Elle süzgeç zinciri 5.034 geçişte 16.184 baytlık ara tablo kurarken maske 6.398 geçiş yapar ve 3.399 bayt tutar.
  5. 05 Gruplama ve Toplulaştırma Böl, uygula ve birleştir adımları tek çağrıya sığıyor ve o çağrı iki kararı birden taşıyor: grup anahtarı boş olan 160 satır varsayılan gruplamada hiçbir grupta görünmez ve beş satırlık özetin toplamı 63.060,63 m³ yerine 60.025,56 m³ çıkar, yani kümenin yüzde 4,81'i hiçbir uyarı üretmeden düşer. Eksik anahtar korunduğunda özet 6 satır olur ve düşen kısım 3.035,07 m³ olarak görünür hale gelir. İkinci karar toplulaştırmanın paydasıdır: kuzey grubu 878 satır taşır ama endeks sütununda 831 dolu değer vardır ve ortalama, paydaya göre 126.247,9 ya da 119.489,8 çıkar. Ölçüt başına ayrı döngü 15.995 anahtar araması tutarken tek bölme 3.199 aramayla beş ölçütü besler.
  6. 06 Birleştirme İşlemleri 3.199 satırlık okuma tablosu ile 818 satırlık ziyaret tablosu aynı anahtar üzerinden dört türle birleştiriliyor ve dört farklı satır sayısı çıkıyor: iç birleştirme 1.965, sol dış 3.820, tam dış 3.856, çapraz birleştirme 2.616.782 satır. İç birleştirme 1.855 okumayı düşürür ve kalan 1.344 satırı 1.965 satıra açar; 621 satırlık bu çoğalma toplamı 26.450,81 m³'ten 38.701,46 m³'e taşır, yani 12.250,65 m³ fazla sayım üretir. Anahtarın ilişkisi çok çoka olduğu halde hiçbir yerde doğrulanmaz: sol taraftaki 468 satırın anahtarı sağda birden çok satıra karşılık gelir ve bu 468 satır sessizce 1.089 satıra açılır. Elle iç içe döngü 2.616.782 karşılaştırma tutarken dizinli birleştirme 4.017 geçişle biter.
  7. 07 Zaman Serisi İşlemleri 3.199 okuma yedi günlük dönemlere indirgeniyor ve hiç kayıt taşımayan 5 dönem için iki cevap çıkıyor: sıfır sayılırsa seri 13 satır, atlanırsa 8 satır olur. Toplam ikisinde de 63.060,63 m³'tür ve değişmez, ama toplamdan sonraki her hesap değişir. Haftalık ortalama 4.850,82 m³ ile 7.882,58 m³ arasında oynar; dönemden döneme yüzde değişimin 12 oranından 5'i sıfır paydaya düştüğü için tanımsız kalırken atlanmış seride 7 oranın hiçbiri tanımsız değildir; üç dönemlik hareketli ortalama 2026-02-12 döneminde 708,03 m³ ile 9.387,54 m³ arasında ayrılır. Aynı küme otuz günlük adımla 3 dönem verir ve hiçbiri boş değildir: boş dönemi yaratan şey veri değil adım kararıdır.
  8. 08 Metin İşlemleri 3.199 satırlık adres kodu sütununun 2.943'ü tam, 160'ı boş, 96'sı üçüncü parçasını taşımıyor. Elle yazılan döngü 20. satırda hata verip duruyor ve 0 satır üretiyor; aynı işi yapan vektörleştirilmiş zincir 3.199 satırın tamamını üretiyor, hiç hata vermiyor ve 256 satırı sessizce eksiğe çeviriyor. Zincirden sonra gelen süzgeç bu 256 satırı eşitlikte dışarıda bırakıp eşitsizlikte içeri alıyor: 1.004 ile 2.195 satır, toplamı tam olarak küme. Zincirin ilk adımı kodu küçük harfe çevirdiği için büyük harfli süzgeç 0 satır döndürüyor ve bu da uyarı üretmiyor. Bir metin sütunu üç ara serisiyle satır başına 32,6 bayt gösterge tutar ve aynı yapı 20 milyon satırda 0,61 gibibayta çıkar.

03

Ölçek ve Başarım

Kümenin belleğe sığmadığı noktadan sonra soyutlamanın rahatlığından ne kaldığının sayılması: aynı sütunun üç tiple tuttuğu bayt ve kategorik tipin kazancı, parça boyutunun bellek tepesi ve geçiş sayısıyla ilişkisi ile parçalanamayan işlemler, satır tabanlı ile sütunlu okumanın aynı sorguda okuduğu değer sayısı, bölümleme ve veri taşımanın eklediği kalem ile dağıtıma geçişin kazanca döndüğü iş boyutu, süzgeç ve toplulaştırma kaynağa itildiğinde ağdan geçen satır sayısı.

  1. 01 Bellek Kullanımı Kurgu ölçüm ağının 3.199 satırlık kümesinde tek bir sütunun bellekte kaç bayt tuttuğu, o sütunun hangi tiple tutulduğuna bağlıdır: bölge sütunu nesne listesi olarak 173.837 bayt, sabit genişlikli metin olarak 19.251 bayt, kategorik kodla 3.628 bayt tutar ve kazanç 47,9 kattır. Aynı sütunun iki savunulabilir ölçümü arasında 6,6 kat fark vardır, çünkü ölçüm işlevi göstericiyi sayar ve işaret ettiği nesneyi izlemez. Okuma sütunu 8 bayttan 1 bayta indirildiğinde bellek 31,4 kat küçülür ama toplam 6,9 m³ kayar ve 108 satır tarife basamağı değiştirir; kategorik tip 5 farklı değerli sütunda 5,3 kat kazandırırken 1.329 farklı değerli sütunda 4,1 kat kaybettirir.
  2. 02 Parça Parça İşleme Kurgu ölçüm ağının 3.199 satırlık dosyası parça parça okunduğunda bellek tepesi parça boyutuyla düşer ama işlemin taşıdığı durum düşmez: 100 satırlık parçada tepe 36.132 bayt, kümenin tamamını tutmaya göre 32 kat küçüktür ve toplam dört parça boyutunda da 66.667,9 m³ çıkar. Toplam, sayım ve bölge kırılımı 3–5 öğelik durumla parça içinde biter; kesin medyan 321 kovalık histogramla, kesin farklı abone sayımı 1.329 öğelik durumla yürür ve o 87.166 bayt parça küçüldükçe küçülmez. Parçalama sessizce bir sıra varsayımı yapar: akan hesap abone sıralı dosyada 1.035 abone için sonuç verirken dönem sıralı dosyada hiç hata vermeden 0 abone için sonuç verir; parça sınırı bölgeye taşındığında parça ortalamalarının ortalaması genel ortalamadan 0,1039 m³ ayrışır.
  3. 03 Sütunlu Motorlar Kurgu ölçüm ağının 3.199 satırlık ve altı sütunlu kümesinde tek bir soru dört okuma yoluyla cevaplanıyor ve dördü de aynı sayıyı veriyor: satır tabanlı tarama 19.194 değer okur, sütunlu erken maddeleştirme 9.597, süzgeci öne alan geç maddeleştirme 4.869, blok atlamalı yol 2.835 değer okur ve kazanç 6,8 kata çıkar. Blok atlama kümenin o sütuna göre kümelenmiş olmasına bağlıdır; aynı küme abone sırasında yazılınca yedi bloğun dördü yerine ikisi, karışık sırada hiçbiri atlanmaz ve okunan değer 2.835'ten 4.883'e çıkar. Geç maddeleştirmenin kazancı da süzgecin seçiciliğine bağlıdır: eşleşen satır 835'ten 2.691'e çıktığında kazanç 1,97 kattan 1,12 kata düşer ve dağınık erişim 1.671'den 5.383'e çıkar.
  4. 04 Paralel ve Dağıtık Veri Çerçeveleri Kurgu ölçüm ağının 3.199 satırlık kümesi bölümlere ayrıldığında dağıtmanın kendi kalemi ortaya çıkıyor ve tek makinenin işinden büyük kalıyor: bölge anahtarıyla dört bölümlü bir dağıtım 11.651 birim, abone anahtarıyla 8.921 birim tutarken tek makine 3.199 birim harcar. Kalem üç parçadan oluşur — en büyük bölümün iş birimi, taşınan satır ve bölüm başına eşgüdüm — ve kazanca dönme eşiği bölümleme anahtarına göre değişir: dengeli anahtarla 10.833 satır, çarpık anahtarla 20.119 satır. Hizalanmamış bir sorgu bu eşiği hiç görmez; dönem bölümlemesinde satırların yüzde 66,7 kadarı yerinde kalmaz ve taşıma kalemi tek başına tek makine işinin 6,7 katına çıkar.
  5. 05 Sorguyu Veriye Götürmek Kurgu ölçüm ağının kaynağında 3.199 satır duruyor ve tek bir soru dört strateji ile cevaplanıyor; dördü de aynı sayıyı veriyor ama çözümleme ortamına taşınan kayıt sayısı 3.199'dan 5'e iniyor. Süzgeç kaynağa itildiğinde 835 satır, sütun seçimi de itildiğinde 1.670 değer, toplulaştırma da itildiğinde 10 değer taşınır ve kazanç 1.919 kata çıkar. Kazancın bedeli görünürlüktür: itilen toplam süzgeçten geçen 835 satırı, kaynaktaki 3.199 satırı ve grup başına satır sayısını getirmez, cevabın yanına kararı yazabilmek için taşınan değer 10'dan 27'ye çıkar ve oran 710 kata iner. Kazanç grup sayısına da bağlıdır: 3 gruplu kırılımda 3.199 kat, 15 gruplu kırılımda 426 kat, 835 gruplu kırılımda 11 kattır ve grup sayısı süzülen satır sayısına eşitlendiğinde sıfırlanır.

04

Alternatif Analiz Ortamları

Aynı analizin başka ortamlarda nasıl ifade edildiğinin ve seçimin hangi ölçütte değiştiğinin sayılması: analiz odaklı dillerin aynı işi kaç adımda ifade ettiği, fiil temelli dönüştürme zincirlerinde ara değişken ve adım sayısı, katmanlı görselleştirme yaklaşımında aynı grafiğin kaç katmanla kurulduğu, üç ortamın ekip, ekosistem ve üretime taşıma ölçütlerinde sayıyla karşılaştırılması.

  1. 01 İstatistiksel Programlama Dilleri Aynı analiz — 3.199 satırlık kurgu kümede bölge başına ortalama tüketim ve azalan sırada ilk üç bölge — üç ifade biçiminde yazılır ve üçü de aynı sayıyı verir: yordamsal ifade 6 deyim, 6 ara değişken ve 2 döngü; bütün-nesne ifadesi 4 deyim, 3 ara değişken ve 0 döngü; bildirimsel ifade 1 deyim, 0 ara değişken ve 0 döngü tutar. Yazılan döngü 2'den 0'a inerken koşan döngü 2'den 3'e çıkar: döngü kaybolmaz, yardımcıya taşınır ve bir tane de eklenir. Tek deyimlik ifade 4 kararı yazar, 5 kararı varsayılana bırakır; beş varsayılan tek tek çevrildiğinde doğu ortalaması 24,674 m³ yerine 25,593, 24,814, 24,120 ve 25,540 m³ olur ve sıralama yönü değişince rapor edilen üç bölge tamamen değişir.
  2. 02 Veri Çerçevesi Dilbilgisi Aynı yedi adımlık dönüştürme üç yazımla ifade edilir ve üçü de aynı sonucu verir: ara değişkenli yazım 7 deyim ve 6 ara değişken tutar, iç içe çağrı ve fiil zinciri tek deyim ve 0 ara değişken. Ayrım okuma sırasında ortaya çıkar — okuma sırası yürütme sırasıyla ara değişkenli yazımda 7/7, fiil zincirinde 7/7, iç içe çağrıda 1/7 adımda örtüşür. Zincirin bedeli ara sonuçların adsız kalmasıdır: 6 ara sonucun 0'ının satır sayısı görünür ve iz alan bir fiil eklendiğinde çağrı sayısı 7'den 15'e çıkarak 3.199 → 3.080 → 3.080 → 750 → 750 → 5 → 5 → 3 dizisi okunur hale gelir. Aynı altı fiilden birinin yeri değiştiğinde rapor edilen bölge sayısı 5'ten 1'e, doğu ortalaması 7,301 m³'ten 0,593 m³'e iner.
  3. 03 Grafik Dilbilgisi Aynı sütun grafiği iki yolla kurulur: hazır bir çağrı 9 bağımsız değişken alır, katmanlı kuruluş 5 katman tutar ve ikisi de aynı değerleri verir. Üzerine bir referans çizgisi eklendiğinde hazır çağrının imzası 9'dan 11'e çıkar ve önceki kurulumdan hiçbir kalem yeniden kullanılmaz; katmanlı kuruluş 5'ten 6 katmana çıkar ve 5 katman aynen kalır. Gizlenen karar istatistik katmanındadır: aynı beş katmanın dördü sabit tutulup yalnız istatistik değiştirildiğinde en uzun çubuk kuzey, doğu ve yine kuzey olur — adet 921, ortalama 24,674 m³, toplam 18.613,81 m³ üç ayrı sıralama üretir. Konum ayarı da aynı biçimde davranır: 6 katman değişmeden dururken doğu/2 için okunan sayı 281'den 0,504'e iner.
  4. 04 Ortam Seçimi Üç ortam üç ölçütte sayıyla karşılaştırılır ve her ölçüt başka bir ortamı öne çıkarır: dokuz kişilik ekipte yazabilen sayısı 7 / 2 / 4, dokuz adımın hazır parçayla karşılananı 7 / 9 / 5, dokuz üretim kaleminin ortamca karşılananı 3 / 1 / 9 çıkar. Eşit ağırlıkta ham toplam 17 / 12 / 18 olur ve seçim bir puanla belirlenir. Ağırlık taraması seçimin üç ölçütün üçünde de değiştiğini gösterir: ekip ağırlığı 2, ekosistem ağırlığı 2, üretim ağırlığı 0 olduğunda seçim başka ortama geçer; üçüncü ortam ancak ekosistem ağırlığı 4 olunca 39 puanla seçilir. Aynı dokuz sayı aralığa yayılarak normalleştirildiğinde puan 175 / 100 / 140 olur ve hiçbir ham sayı değişmeden seçim döner.

Aramak için yazmaya başlayın.

↑↓ ↵ Esc gezin · aç · kapat