İçeriğe geç
academia.sh
en
Giriş yap

Kurs Orta

İstatistiksel Analiz ve Keşifsel Veri Analizi

Bu kursun sonunda

Kursa başla

01

Keşifsel Analiz

Kümeyi tanımak için yürütülen sıranın her adımında ne arandığının ve o adımın hangi soruyu ürettiğinin sayılması: keşfin hipotez üretme işi ile doğrulama arasındaki ayrım, tek değişkenli incelemede merkezî eğilim özetinin gizlediği dağılım biçimi, iki değişkenli incelemede saçılım ve çapraz tablonun korelasyon katsayısından fazlasını göstermesi, korelasyon matrisinde karşılaştırma sayısının ürettiği sahte ilişki ve boyut azaltmanın rolü, gözle yapılan ilk denetimde yakalanan yığılma, kesilme ve yinelenme sorunları.

  1. 01 Keşifsel Analizin Amacı Python ile Veri Analizi kursunun bıraktığı iki sayı yeniden ele alınır: doğu ortalaması 24,674 m³, kuzey 20,210 m³, fark 4,464 m³. Küme bir kütle değil örneklemdir — ağdaki 1.400 sayaçtan 1.329'u kayda girmiş, 3.987 olası okumadan 3.199'u gözlenmiştir, kapsam yüzde 80,2. Bölge etiketleri 2.000 kez rastgele yeniden dağıtıldığında hiçbir koşum 4,463 m³'e ulaşmaz; en uç karıştırma 1,754 m³ verir, yani gözlenen farkın payı 2.000'de 1'den küçüktür. Aynı yordam kuzey bölgesinin tek ve çift abone numaralı satırlarına uygulandığında gözlenen 0,232 m³'lük fark 2.000 koşumun 1.314'ünde aşılır. On denetimlik bir tarama 8 soru üretir ve 0 karar verir.
  2. 02 Tek Değişkenli İnceleme Doğu bölgesinin 557 okuması ile aynı ortalamayı (24,674 m³) ve aynı standart sapmayı (9,198) veren simetrik bir model dağılım yan yana konur ve rapor edilen iki sayının biçimi hiç anlatmadığı gösterilir: beş sayı özeti 0,00 / 19,23 / 24,12 / 29,85 / 51,90 ile 0,66 / 18,37 / 24,61 / 31,43 / 47,79 olarak ayrışır, çeyrekler açıklığı 10,62'ye karşı 13,06 çıkar, ortalama ile ortanca arasındaki açıklık 0,554'e karşı 0,064 kalır. Aralık sayımları beş sayının göremediğini verir: gözlemde ilk aralıkta 20, ikincisinde 1 değer vardır ve aralık genişliği 10 seçilirse bu kopukluk tek bir 21 sayısına gömülür. Çit dışındaki 30 değer elenmez, etkisi ölçülür: eleme doğu ortalamasını 25,154'e, doğu ile kuzey arasındaki farkı 4,463'ten 4,622 m³'e taşır.
  3. 03 İki Değişkenli İnceleme Tüketim sütunu dört sütunla eşleştirilir ve her katsayının yanına payı basılır: hane kişi sayısıyla +0,010 ve memnuniyetle −0,010 katsayıları 2.000 karıştırmanın 1.189 ve 1.154'ünde aşılır, dönem sırasıyla çıkan −0,111 hiçbirinde aşılmaz, tarife basamağıyla çıkan +0,883 ise bir keşif değil bir tanımdır. Aynı +0,600 katsayısını veren üç kurgu ilişki yan yana konur: doğrusal olanın dilim ortalamaları 6,6'dan 24,9'a düzgün çıkar, eğrisel olanınki 39,8'e çıkıp 37,1'e döner, kaldıraçlı olanınki 20 civarında sabit kalır ve tek bir uç nokta çıkarıldığında katsayı −0,057'ye iner. Bölge ile tarife basamağının çapraz tablosu batıda dördüncü basamağın hiç görünmediğini, doğuda küme payının üç katına çıktığını sayar. Sıralayıcı ölçekte kodlama değiştiğinde katsayı memnuniyette mutlak değerce yüzde 79 oynar, sıra korelasyonu −0,0102'de durur.
  4. 04 Çok Değişkenli İnceleme Altı sütunluk bir korelasyon matrisi 15 çift taşır ve eşik dağılım tablosundan değil karıştırmadan gelir: 2.000 karıştırmada katsayı dağılımının yüzde 95'i 0,0354 çıkar ve 15 çiftin 5'i bu eşiği aşar — ama beşinden üçü tanım gereği, ikisi de abone numarası sütunu yüzünden aşar. Birbirinden tümüyle bağımsız üretilmiş sütunlarda çift sayısı 6'dan 190'a çıktığında eşiği aşan çift sayısı 0'dan 12'ye çıkar ve beklenen değer 9,5'tir; en yüksek katsayı 0,049 ile eşiğin belirgin üstündedir. Boyut azaltma tek soruya indirgenir: ölçüm ağı sütunlarında ilk iki bileşen değişimin yüzde 49,3'ünü, iki gizli sürücüden üretilen kümede yüzde 82,1'ini, bağımsız sütunlarda yalnız yüzde 35,0'ını taşır.
  5. 05 Veri Görsel Denetimi Altı kurallık bir tarama ham kayıt katmanında dört sorun buluyor ve her biri ayrı bir özeti bozuyor: 0,00 değeri 119 kez tekrarlanıyor ve küme ortalamasını 19,693'te tutuyor, oysa okuma sayılmayan satırlar dışarıda bırakılsa 20,454 olurdu; 45,00 m³ tavanında 20 kayıt birikmiş ve en büyük yüzde 1'in ortalaması 46,597 yerine 44,663 görünüyor; 213 satır sıfır kişilik hanede ölçülmüş tüketim taşıyor ve kişi başına tüketim, karara göre 11,204 ya da 10,617 çıkıyor; dönemler arasındaki satır açıklığı yüzde 33,5 ve ilk dönem ortalaması dengeli aboneler alınınca 20,644'ten 20,868'e çıkıyor. Hiçbir satır silinmiyor. Konu kapanışında keşfin açtığı borç sayılıyor: beş kırılım alanı 23 tekil ve 209 ikili hücre, toplam 232 ayrı alt küme üretiyor ve bunların 33'ü 30 satırdan az.

02

Uygulamalı İstatistik

Bir farkın gerçek mi gürültü mü olduğunun yeniden karıştırma ile sınanması ve sonucun oynama payıyla raporlanması: ortalama ile ortanca arasındaki kararın rapor edilen sayıyı oynatması, kutu ve yoğunluk özetlerinin beş sayıya sığdırdığı ile gizlediği, güven aralığının söylediği ve söylemediği, sınama seçimi ve varsayım denetimi, deney kümesinden çözümleme serbestliğiyle çıkan karar sayısı, regresyon katsayısının yorum sınırı ve etkinin ne kadarını açıkladığı, kohort tanımının oynattığı elde tutma oranı, seçim yanlılığı ve çok deneyerek bulunan farkın sayılması.

  1. 01 Betimsel Özetlerin Seçimi Aynı 557 okumadan üç savunulabilir özet çıkıyor: ortalama 24,674 m³, ortanca 24,120 m³ ve yüzde on kırpılmış ortalama 24,581 m³, aradaki en büyük fark 0,554 m³. Geri koyarak örnekleme üçünün de oynama payını ölçüyor ve genişlikler 1,552, 1,762 ve 1,458 m³ çıkıyor: seçimin oynattığı fark, payların üçte biri kadardır ve üç aralık da 25 m³'lük tarife basamağını içine alır. Aynı hesap 557 okumalık gruptan 142 okumalık gruba inince seçim farkı 1,679 m³'e, pay genişliği 2,917 m³'e çıkar ve karar bu kez paydan bağımsız okunamaz.
  2. 02 Dağılım Karşılaştırması Kuzey bölgesinin 921 okuması beş sayıya iniyor ve aynı beş sayıyı veren ikinci bir küme kuruluyor: iki kutu özeti de 0,00 | 15,74 | 19,66 | 24,63 | 45,47, çeyrekler açıklığı 8,89 m³ ve çitler 2,405 ile 37,965 m³. Aralık sayımları ikisini ayırıyor — kuzeyde tek tepe 16–20 m³ aralığında, ikizde iki tepe 12–16 ve 24–28 m³ aralıklarında ve ortanca çukurda kalıyor. Aynı ortancanın çentik aralığı geri koyarak örneklemeyle 0,920 m³ ve 3,146 m³ çıkıyor, çit dışında kalan gözlem sayısı 50 ile 35 arasında değişiyor.
  3. 03 Güven Aralığı Yorumu Doğu bölgesinin 24,674 m³'lük ortalaması geri koyarak örneklemeyle 23,894–25,431 m³ aralığına oturuyor ve genişlik 1,537 m³ çıkıyor, ama 557 okumanın yalnız 37 tanesi bu aralığın içinde: aralık gözlemlerin değil özetin aralığıdır. Gözlem sayısı 35'ten 139'a, 139'dan 557'ye çıkınca genişlik 6,601'den 3,009'a, oradan 1,459 m³'e iniyor. Kırk gözlemlik 120 örneklemin 113'ünde aralık kütle ortalamasını içeriyor. Kuzeyin iki dönemi 0,148 m³ boyunca kesişen iki aralık veriyor, farkın kendi aralığı ise 0,281–2,612 m³ ile sıfırı dışarıda bırakıyor.
  4. 04 Hipotez Testi Uygulaması İki dönemde de okunan 1.101 abonede gözlenen fark 0,957 m³ ve bu tek fark iki ayrı p değeri veriyor: bağımsız sayımda 2.000 karıştırmanın 24'ü farkı aşıyor ve p 0,01249 çıkıyor, eşleştirilmiş sayımda 5'i aşıyor ve p 0,00300 oluyor. Varsayım denetimi eşleştirmenin gerçek olduğunu 0,213'lük korelasyonla gösteriyor; eşleştirme bozulduğunda p 0,01099'a geri dönüyor. Etki büyüklüğü 0,112 ve 0,089 olarak p'nin yanında duruyor. Aynı kümenin 275 çiftlik dörtte birinde fark 1,132 m³ ile daha büyük, p ise 0,10695 ile on yedi kat büyük çıkıyor.
  5. 05 A/B Testi Analizi Tasarımı bitmiş bir deneyin kümesi elde kaldığında çözümleyicinin önünde duran dört serbestlik derecesinin sayılması: ölçüt seçimi, kırılım, gözlem penceresi ve dengesiz atamanın ele alınışı 108 bileşim üretir. Deneyden önce yazılan tek karar 0,123 m³ fark, [-0,698, 0,952] oynama payı ve 0,786 p değeri verir; aynı kümeden gezilen 108 bileşimin 4'ü 0,05 eşiğinin altına iner, 9'u 0,10'un altına, 45'i artış 63'ü azalış yönü gösterir ve ortalama ölçütündeki fark -2,113 ile 1,119 m³ arasında gezinir. Gruplar arasındaki gerçek fark tam olarak sıfırdır. Kararın deneyden önce yazılması bileşim sayısını 108'den 1'e indirir.
  6. 06 Regresyon ile İlişki Modelleme En küçük kareler ders içinde yazılır ve bir katsayının ne söylediği ile ne söylemediği ayrılır: sayaç yaşının tek değişkenli katsayısı -0,605 m³/yıl, oynama payı [-0,714, -0,503] ve açıklanan değişim oranı 0,098 çıkar. Karıştırıcı değişken olarak bölge taban düzeyi eklendiğinde aynı katsayı 1,825'e döner, payı [1,629, 2,003] olur ve iki aralık hiç kesişmez. Beş bölgenin her birinde bölge içi eğim pozitiftir (0,771 ile 2,416 arasında). Açıklanan değişim oranı 0,098'den 0,505'e çıkar ama işareti haber vermez; tümüyle rastgele bir sütun eklendiğinde 0,505363'ten 0,505377'ye yine yükselir. Artıkların bölge ortalaması tek değişkenli modelde -3,020 ile 2,481 arasında gezinir, karıştırıcı eklendiğinde -0,229 ile 0,295 arasına iner.
  7. 07 Kohort ve Huni Analizi Kohort tanımının aynı kümeden kaç ayrı elde tutma oranı çıkardığının sayılması: gözlenemeyen kohortu sıfır sayan kural 0,619, dışlayan kural 0,867 verir ve üç dönemlik pencerenin dışında 3.199 okumanın 843'ü kalır. Giriş penceresi dönem alındığında iki gözlenebilir kohort ve 0,009 oran açıklığı, beş hafta alındığında altı kohort ve 0,040 açıklık çıkar; en dar oynama payı 0,087 olduğu için açıklığın tamamı tek bir kohortun payının içine sığar. Huni yalnız toplulaştırma tersine dönmesi kadar geçer: toplulaştırılmış fark -0,237 iken gözlenebilir iki kohortun ikisinde de fark +0,083 ve +0,028'dir.
  8. 08 Yanıltıcı Analizler Kümenin kendisinin bir seçim olduğunun ve gürültünün bulgu üretebildiğinin sayılması: ağdaki bütün sayaçların kütlesinde doğu ile kuzey arasındaki fark 4,659 m³, okunabilmiş sayaçların örnekleminde 4,463 m³, sıfır okumalar atılınca 4,655 m³ ve yalnız üç dönem kalan abonelerde 4,454 m³ çıkar; dört kararın açıklığı 0,206 m³'tür. 1.329 abonenin 69'u hiçbir tabloda görünmez. Yirmi kırılımlık on tarama tümüyle rastgele bir sonuç değişkeni üzerinde 200 sınama yapar ve 11 bulgu verir; beklenen 10,0'dır ve on taramanın 7'sinde en az bir bulgu çıkar. Kurs kapanışında on üç dersin gözlenen sayısı, oynama payı ve kararın değişip değişmediği tek tabloda toplanır.

Aramak için yazmaya başlayın.

↑↓ ↵ Esc gezin · aç · kapat