İçeriğe geç
academia.sh
en
Giriş yap

Kurs Orta

Veri Hazırlama ve Öznitelik Mühendisliği

Bu kursun sonunda

Kursa başla

01

Hazırlama Adımları

Var olan sütunlar üzerinde alınan her kararın, model sabitken ayrılmış kümedeki sayıyı ne kadar oynattığının sayılması: temizleme kararının modele kattığı ve iki model ailesinde ters işaret alması, standartlaştırma ile normalleştirmenin hangi yordamda katkı ürettiği ve ölçeğin yalnız eğitimden öğrenilmesi, bir-sıcak, sıralı ve hedef temelli kodlamanın sütun sayısı ile sızıntısı, doldurma, eksiklik göstergesi ve satırı atmanın üç ayrı sayısı, çoğaltma, seyreltme ve sınıf ağırlığının dengesiz kümede verdiği sonuç, aynı aykırı değerin eğim temelli ve ağaç temelli yordamda zıt etkisi.

  1. 01 Veri Temizleme Bir temizleme kararının modele ne kattığının ayrılmış kümede ölçülmesi: ham kayıttaki üç kusur tek tek düzeltilir, model sabit tutulur ve sınama kümesindeki iki sayı yan yana basılır. Birim karışıklığının düzeltilmesi uzaklık temelli yordama on iki abone kazandırırken karar ağacına iki abone kaybettirir; üç kusur birden düzeltildiğinde ağacın sınama doğruluğu 0,7659'dan 0,7778'e, uzaklık temelli yordamınki 0,7540'tan 0,7857'ye çıkar ve taban çizgisi her ikisinde de 0,7579'dur.
  2. 02 Öznitelik Ölçekleme Standartlaştırma ve normalleştirme kararlarının üç model ailesinde ayrı ayrı ölçülmesi: standartlaştırma eğim temelli doğrusal modele +0,0437 katarken uzaklık temelli yordamda −0,0159 verir ve karar ağacında katkı tam olarak sıfırdır. Ölçek eğitim kümesinden öğrenilen bir nesnedir; sınama kümesine uygulandığında iki değer [0, 1] aralığının dışına çıkar ve standart puanlar 5,11'e kadar yükselir. On bir sütunun hepsi ölçeklendiğinde uzaklık temelli yordam bir abone daha kaybeder.
  3. 03 Kategorik Kodlama Bir kategorik alanın sayıya çevrilmesinde üç kodlamanın sütun sayısı ve katkı olarak ölçülmesi: bölgenin bir-sıcak kodlanması sınama doğruluğunu 0,7302'den 0,7778'e çıkarır, 240 kodluk okuma rotası alanı bir-sıcak kodlandığında 231 ek sütuna karşılık +0,0119, sıralı kodlandığında tek sütunla aynı +0,0119 verir. Hedef temelli kodlama eğitim doğruluğunu 0,9114'e şişirirken sınamada 0,7421'e düşürür; kat içinde hesaplandığında eğitimdeki şişme 0,0595 geri çekilir ve sınama 0,7540'a döner.
  4. 04 Eksik Değer Stratejileri Eksik bir sütun için üç stratejinin ayrılmış kümede ayrı ayrı ölçülmesi: ortanca ile doldurma 0,7619, doldurma ile birlikte eksiklik göstergesi eklemek 0,8333, eksik satırı eğitim kümesinden atmak 0,7659 veriyor ve göstergenin katkısı +0,0714, yani on sekiz abonedir. Gösterge, hiç eksik olmayan sütunun verdiği 0,7778 üst sınırını da 0,0555 geçiyor, çünkü eksikliğin kendisi doldurulan değerin taşımadığı bir bilgi taşıyor: anketi yanıtlamayan abonelerde şüpheli oranı 0,5276, yanıtlayanlarda 0,1383.
  5. 05 Dengesiz Sınıflar Sınıf dengesizliğine verilen üç yanıtın iki ölçüyle birden okunması: taban çizgisi doğrulukta 0,7579 verirken yakaladığı şüpheli sayısı sıfırdır, ham eğitim kümesiyle model 0,7778 doğruluk ve 61 şüpheliden 21'ini yakalar. Azınlığı iki kat çoğaltmak doğruluğu 0,7619'a indirip yakalananı 33'e çıkarır, çoğunluğu seyreltmek 0,7143 ve 36 verir, sınıf ağırlığı 3,5 ise 0,6349 ve 39 verir. Azınlığı iki kat çoğaltmak ile sınıf ağırlığı 2,0 sınama kümesindeki 252 abonenin hepsinde aynı tahmini üretir.
  6. 06 Aykırı Değer Yönetimi Tek bir kırpma kararının iki model ailesinde ters işaret verdiğinin ölçülmesi: eğitim kümesinden öğrenilen çitle kırpma, eğim temelli doğrusal modele gerçek uçlarda +0,0040, takılı sayaç kaydı da varken +0,0317 katıyor; aynı karar karar ağacında −0,0278 ve −0,0357 veriyor. Çit dışındaki 34 abonenin şüpheli oranı 0,6765 olduğu için kırpma gerçek bilgiyi de siliyor, ve hiçbir satır silinmeden 41 değer kırpılıyor.

02

Öznitelik Üretimi ve Seçimi

Yeni sütun üretmenin, sütun atmanın ve hazırlamayı bir nesneye bağlamanın ayrılmış kümede ne kattığının sayılması: oran, fark, etkileşim ve eşik göstergesinin tek tek katkısı ile katkısı sıfır çıkanlar, bir tarihten ve kısa metinden çıkan sayı adedi, süzgeç, sarmalayıcı ve gömülü yöntemlerin seçtiği öznitelik sayısı ve seçimin bütün kümeden yapılmasının ürettiği şişme, bileşen sayısı ile ayrılmış küme sayısı arasındaki ilişki ve yorumlanabilirlikten kaybedilen, boru hattı olmadan bütün kümeden öğrenilen adım sayısı, kat dışında ve kat içinde hazırlamanın verdiği iki çapraz doğrulama sayısı.

  1. 01 Öznitelik Üretme Var olan sütunlardan yeni sütun çıkarmanın ayrılmış kümede ne kattığının tek tek sayılması: oran özniteliği 0,7778 olan sınama sayısını 0,7897'ye taşırken fark ve eğitimden öğrenilmiş gösterge 0,0040 katıyor, elle konan 25 m³ eşiği 0,0159 ve iki sütunun çarpımı 0,0238 kaybettiriyor, 40 m³ eşiği ise tam sıfır katkı üretiyor. Altı sütun birikimli olarak eklendiğinde eğitim sayısı 0,8466'dan 0,8677'ye çıkarken ayrılmış küme sayısı 0,7897'de tepe yapıp 0,7698'e düşüyor; tek tek pozitif katkı veren üç sütun birlikte eklendiğinde toplam katkı 0,0000 oluyor.
  2. 02 Zaman ve Metin Öznitelikleri Bir tarihten ve bir kısa metinden beşer sayı çıkarıp toplam katkılarının ayrılmış kümede sayılması: karar öncesi çizgi 0,7897 iken tarihten çıkan beş sayı 0,0198 kaybettiriyor, nottan çıkan beş sayı 0,0317 katıyor, on sayı birlikte 0,0198 katıyor. Katkının tamamı tek bir göstergeden geliyor; mühür izi göstergesi tek başına 0,0357 katarken metin uzunluğu 0,0357 ve sözcük sayısı 0,0516 kaybettiriyor. Bir alandan kaç sayı çıktığı katkıyı belirlemiyor, alanın etiketle ilişkisi belirliyor.
  3. 03 Öznitelik Seçimi Süzgeç, sarmalayıcı ve gömülü yöntemlerin aynı 25 aday sütundan kaç öznitelik seçtiğinin ve seçimin kendisinin ürettiği şişmenin sayılması: seçimsiz 25 sütun sınamada 0,8135 verirken süzgeç 10 sütunla 0,8056, sarmalayıcı 4 sütunla 0,7579, gömülü yöntem 14 sütunla 0,8254 veriyor. Sarmalayıcı puanını okuduğu doğrulama kümesinde 0,8413 raporlarken sınamada 0,7579'a düşüyor; şişme 0,0834. Bin iki yüz gürültü sütunundan seçim bütün kümeden yapıldığında ayrılmış küme sayısı 0,0198, 0,0040 ve 0,0714 şişiyor, üç ölçümde de aynı işaretle.
  4. 04 Boyut Azaltmanın Öznitelik Rolü On üç ham özniteliğin yerine bileşen temelli bir temsil konduğunda ayrılmış küme sayısının ve yorumlanabilirliğin ne olduğunun ölçülmesi: ham sütunlar sınamada 0,8254 verirken iki bileşen 0,8175, üç bileşen 0,8056, beş bileşen 0,7778, sekiz bileşen 0,7460 veriyor ve hiçbir bileşen sayısında ham temsile yetişilemiyor. En büyük bileşen payını taşıyan bileşen tek başına 0,7381 ile tabanın altında kalırken payı 0,093 olan beşinci bileşen 0,7659 veriyor. Ham temsilde bölmelerin 0,35'i ortalama tüketimden okunurken bileşen temsilinde aynı pay adı olmayan bir karışıma düşüyor.
  5. 05 Boru Hatları Hazırlama zincirinin bir nesneye bağlanması ve boru hattı olmadan kaç adımın sızdığının sayılması: dört adımlı zincir elle uygulandığında dördü de bütün kümeden öğrenilir ve sınama sayısı 0,7817'den 0,8294'e çıkar, şişme 0,0476. Doldurma ve ölçekleme sızdığında sayı hiç değişmez, hedef temelli kodlama sızdığında 0,0397, seçim de sızdığında 0,0476 şişer. Boru hattı 131 sayı öğrenir ve bu sayıların hepsi eğitim kümesinden gelir; ölçekleme adımının ağaç modelindeki katkısı tam sıfır, hedef temelli kodlama adımının katkısı ise eksi 0,0317'dir.
  6. 06 Çapraz Doğrulama ile Uyum Hazırlama zincirinin kat dışında ve kat içinde öğrenilmesinin verdiği iki çapraz doğrulama sayısının ayrılmış kümedeki gerçek sayıyla karşılaştırılması: sınama kümesindeki gerçek sayı 0,7817 iken kat içinde hazırlama 0,7966, kat dışında hazırlama 0,8105 veriyor ve kat içinde hazırlamanın sapması 0,0149, kat dışındakinin 0,0288'dir. Zincirin üçüncü adımı kat dışına çıktığı anda sayı 0,7966'dan 0,8115'e sıçrıyor. Tek bölmenin verdiği 0,8254 dört katın en yükseğine eşittir ve gerçek sayıdan 0,0437 uzaktır. Kurs kapanışında on iki dersin karar öncesi ve karar sonrası sayıları tek tabloda toplanır.

Aramak için yazmaya başlayın.

↑↓ ↵ Esc gezin · aç · kapat