İçeriğe geç
academia.sh
en
Giriş yap

Kurs İleri

Arama Motorları ve Metin Erişimi

Bu kursun sonunda

Kursa başla

01

Dizin ve Çözümleme

Metnin aranabilir hâle gelmesi: arama motorunun ilişkisel veritabanından hangi soruda ayrıldığı, terimden belgeye eşleyen ters dizinin kuruluşu ve maliyeti, belirteçleme, normalleştirme ile süzgeçlerden oluşan çözümleyici zincirinin sonucu belirlemesi, metin ile anahtar sözcük alan tiplerinin ayrımı, dinamik eşlemenin şema patlaması riski ve belgenin eklenme, güncellenme ile silinme mekaniği.

  1. 01 Arama Motoru ve Veritabanı Farkı Metnin içinden belgeye gitmenin ayrı bir yapı istemesi: anahtarı bilinen erişimle sözcüğü bilinen erişimin ayrımı, aynı katalog sorusunun ilişkisel LIKE taramasıyla ve terimden belgeye eşleyen ters dizinle yanıtlanması, iki yolun taradığı kayıt ile giriş sayısının, döndürdüğü belge kümesinin ve kaçırdığı belgelerin sayılması, büyük küçük harf ile çekim ekinin küme üzerindeki etkisi.
  2. 02 Ters Dizin Terimden belgeye eşleyen yapının kuruluşu ve bayt hesabı: sözlük ile gönderi listesinin ayrımı, gönderi girişinde belge kimliği, terim sıklığı ve konum bilgisinin ayrı ayrı fiyatlanması, dizinin kaynak metne oranının üç biçimde ölçülmesi, gönderi listelerinin belge kimliği sırasında tutulmasının kesişim maliyetine etkisi ve konum bilgisinin satın aldığı ardışıklık ayrımı.
  3. 03 Çözümleyici Zinciri Metnin terime dönüşme kuralının kararı belirlemesi: belirteçleme, normalleştirme ve süzgeçlerden oluşan zincirin aynı derlem üzerinde üç yapılandırmayla kurulması, ham, küçük harfe indiren ve kök bulup durak sözcük atan zincirlerin dizin boyutu, dönen küme ve ilk beş sıra düzleminde karşılaştırılması, Türkçe harf katlaması, kesme işareti ve çekim ekinin yarattığı farkın sayılması.
  4. 04 Eşlemeler ve Alan Tipleri Alanın tipinin dizinleme kuralını belirlemesi: metin alanı ile anahtar sözcük alanının ayrımı, aynı alanın iki tiple dizinlenip terim sayısı, gönderi girişi ve dizin baytının karşılaştırılması, tam eşleme ile parça eşlemenin dönen kümeye etkisi, çok değerli alanda oluşan çapraz eşleşme, sıralama anahtarının tanımlı olup olmaması ve toplama kovalarının iki tipte ayrışması.
  5. 05 Dinamik ve Açık Eşleme Eşlemenin kimin kararı olduğu: gelen her alanı dizine ekleyen dinamik eşleme ile alan listesi önceden sabitlenen açık eşlemenin aynı katalog aktarımında karşılaştırılması, alan sayısının belge çeşitliliğiyle büyümesi, alan başına düşen eşleme üstverisinin bayt olarak sayılması, aynı adın iki tiple gelmesi durumunda reddedilen belgelerin ve bu belgelerin sorgu kümesinden düşmesinin ölçülmesi.
  6. 06 Belge Yaşam Döngüsü Belgenin dizine girmesi, değişmesi ve çıkması: güncellemenin silme ile ekleme olarak gerçekleşmesi, eski gönderi girişlerinin yerinde kalması, silme işaretinin iç kimlik başına tuttuğu yer, ölü girişlerin sorguda elenmesi ve taranan girişe eklenmesi, güncellenen belgenin sonuç sırasında sona taşınması ve temizlik turuna kadar dizinin ne kadar şiştiği.

02

Sorgulama ve İlgililik

Hangi belgelerin hangi sırayla döneceği: yaprak ve bileşik sorguların yapısı, tam eşleme ile sıra duyarlı ifade sorguları, zorunlu, olumsuz ve isteğe bağlı bağlam koşulları, puanlamaya giren sorgu ile girmeyen süzme ayrımı, terim sıklığı ve ters belge sıklığı temelli ilgililik puanlaması, alan ağırlığı ile işlev tabanlı puan ayarlama, ölçüt ile kova toplamaları ve sonuç sunumunda vurgulama ile derin sayfalama sorunu, gömme temelli anlamsal erişim ve karma yaklaşım.

  1. 01 Sorgu Dili Yapısı Aynı katalog sorusu düz metin ve yapılandırılmış biçimde sorulur: koşulların nasıl birleştiği söylenmediğinde dönen küme 4.211 ile 71 belge arasında değişir, bileşik sorgu bir ağaç olarak değerlendirilir ve ağacın değerlendirme sırası kümeyi değiştirmeden taranan gönderi girişini düşürür.
  2. 02 Terim ve İfade Sorguları Aynı iki terim önce belge düzeyinde, sonra konum düzeyinde sorulur: terim sorgusu 757 belge döndürürken bitişik ifade 144 belgeye iner, kayma payı 3'e çıkınca 377'ye yükselir ve bu ayrımı olanaklı kılan konum bilgisi dizini %52,7 büyütür.
  3. 03 Bağlam Sorguları Zorunlu, olumsuz ve isteğe bağlı koşullar aynı bileşik sorguda ölçülür: olumsuz koşul kümeden 512 belge çıkarır, isteğe bağlı koşul bir belge bile çıkarmadan ilk on sonucun dokuzunu değiştirir, ama zorunlu koşul yokken aynı isteğe bağlı koşul kümeyi belirleyen koşula dönüşür.
  4. 04 Süzme ve Sorgu Ayrımı Aynı koşul önce sorgu bağlamında, sonra süzme bağlamında çalıştırılır: dönen küme 1.138 belge olarak sabit kalırken ilk on sonucun dokuzu değişir, 1.138 belgenin yalnız dördü yerinde kalır, puan hesabı yarıya iner ve süzgecin sonucu 750 baytlık bir bit kümesi olarak yeniden kullanılabilir.
  5. 05 İlgililik Puanlaması Puanlayıcı üç bileşenden kurulur — terim sıklığı, ters belge sıklığı ve alan uzunluğu — ve bir belgenin sırasının hangi bileşenden geldiği tek tek gösterilir; kesinlik ile anma burada tanımlanır ve sıralamanın kesinliği 0,353'ten 0,640'a çıkardığı, ama modelin göremediği bir ölçütte tavana vurduğu ölçülür.
  6. 06 Puan Ayarlama Aynı sorgunun sırasını yeniden yazan iki ayar: alan ağırlığının ilk on sonuçta kaç belgeyi değiştirdiği ve bir belgeyi kaç basamak oynattığı, alan seçiminin ağırlıktan farklı olarak eşleşen kümeyi daraltması, işlev tabanlı puanda yenilik ile popülerliğin ilgililiği hangi ağırlıkta bastırdığı ve iki birleştirme kipinin farkı.
  7. 07 Toplama Sorguları Belge yerine sayı üreten sorgular: ölçüt, kova ve boru hattı toplamalarının aynı ödünç kaydı üzerinde ölçülmesi, kova sayısının bayt maliyeti, yüksek kardinaliteli tekil sayımda kesin kümeyle kestirimin karşılaştırılması ve toplamanın bütün derlem, eşleşen küme ya da süzülmüş küme üzerinde çalışmasının sonucu nasıl değiştirdiği.
  8. 08 Vurgulama ve Sayfalama Sonucun okura görünen yüzü: vurgulamanın belge başına yeniden çözümleme bedeli ile konumu dizinde saklamanın kalıcı bayt yükü, derin sayfalamada her parçadan çekilen aday sayısının sayfa derinliğiyle doğrusal büyümesi, imleç tabanlı gezinmenin aynı sayfayı sabit bedelle üretmesi ve dizin değişince kaydırmalı sayfalamanın ürettiği tekrar ile atlama.
  9. 09 Anlamsal ve Vektör Arama Sözcüğün kendisi yerine geçtiği bağlamı karşılaştıran erişim: terim sayımından üretilen gömmelerin kurulması, eşanlamlı iki terimin hiç birlikte geçmeden yakın çıkması, vektör erişiminin terim erişimine göre kazandırdığı ve kaybettirdiği belgeler, karma aramanın iki listeyi birleştirmesi ve vektör dizininin bayt ile tarama maliyeti.

03

Küme İşletimi

Dizinin bir küme üzerinde yaşaması: ana, veri ve eşgüdüm düğümlerinin rolleri, parça ile kopya sayısının bölümleme ve yedeklilik dengesi, çoğunluk gerekliliğiyle bölünmüş beyin sorunu, toplu dizinlemenin yazma verimine etkisi, bölüt birleştirmenin arka plan maliyeti, devretme, soğutma ve silme politikalarıyla dizin yaşam döngüsü, anlık görüntü ile geri yükleme stratejisi ve kullanıcı, rol ile API anahtarı yönetimi.

  1. 01 Düğüm Rolleri Aramanın tek süreçten kümeye taşınması: veri, eşgüdüm ve ana düğümlerin ayrılması, aynı üç yüz sorgunun iki rol yerleşiminde koşturulup her düğümün okuduğu gönderi girişi ile yaptığı birleştirme adımının sayılması, parça sayısı artarken veri işinin bölünüp eşgüdüm işinin bölünmediğinin gösterilmesi ve ana düğüm rolünün yüklü bir veri düğümüne bindirilmesinin küme durumunu geciktirerek dönen belge kümesiyle ilk beş sonucun sırasını değiştirmesinin ölçülmesi.
  2. 02 Parçalar ve Kopyalar Parça sayısının bir puanlama kararı olduğunun gösterilmesi: aynı derlem bir, iki, dört, sekiz ve on altı parçaya bölünüp her yerleşimin ilk on sonucunun tek parçalı dizinin ilk onuyla ortak belge ve basamak kayması bakımından karşılaştırılması, aday derinliğini artırmanın sapmayı düzeltmediğinin ölçülmesi, küresel belge sıklığı turunun ilk onu birebir geri getirdiğinin ve fazladan bir tura mal olduğunun sayılması, kopya sayısının dizin baytını ve düğüm kaybında dönen belge kümesini nasıl değiştirdiğinin ayrıca ölçülmesi.
  3. 03 Bölünmüş Beyin Sorunu Beş kopyalı bir dizinin üç ve iki düğümlük iki yarıya bölünmesi: çoğunluk gerekliliği kapalıyken azınlık yarısında kabul edilip onarımda kaybolan dizinleme işlemlerinin sayılması, aynı sorgunun iki yarıda farklı belge kümesi ve farklı ilk beş döndürmesinin ölçülmesi, çoğunluk açıkken azınlığın yazmayı reddedip sorguları eksik yanıtlamasının bedelinin yazma iletisi ve eksik belge cinsinden karşılaştırılması ve onarım sonrası dizinin bölünme hiç olmasaydı oluşacak dizinle karşılaştırılması.
  4. 04 Toplu Dizinleme Eniyilemesi Aynı dört bin kayıtlık derlemin tek tek ve toplu dizinlenmesi: istek sayısı, oluşan bölüt sayısı, toplam dizin baytı ve sorgu başına sözlük araması cinsinden karşılaştırılması, parti boyu ile yenileme aralığının birbirinden bağımsız iki eksen olduğunun gösterilmesi ve yenileme aralığı değiştikçe görünürlük gecikmesiyle sorgu maliyeti arasındaki takasın altı yüz kayıtlık bir bağış partisi üzerinde eşleşen belge, eksik belge ve ilk beş sonucun sırası sayılarak ölçülmesi.
  5. 05 Bölüt Birleştirme Her toplu işten geriye kalan bölütlerin sorguya ödettiği bedel: bölüt sayısının sözlük araması, taranan gönderi girişi ve dizin boyutuna etkisi, silme işaretlerinin temizlenmesi, birleştirmenin kopyaladığı bayt ve katmanlı birleştirme politikasının iki çarpan ayarının karşılaştırılması.
  6. 06 Dizin Yaşam Döngüsü Sürekli büyüyen bir dizini zamana göre devretmenin ölçülmüş etkisi: devretme aralığının sorgu kapsamına ve taranan gönderi girişine etkisi, tek büyük dizinde belge silmek ile dizin düşürmenin maliyet farkı, devretme granülerliğinin saklama penceresi dışında tuttuğu veri ve sıcak, ılık, soğuk katman yerleşiminin bellekte tuttuğu kaynak.
  7. 07 Anlık Görüntü ve Geri Yükleme Dizine özgü yedekleme kararı: bölütlerin değişmezliği üzerine kurulan artımlı anlık görüntünün kopyaladığı bayt, arka plan birleştirmesinin artımlılığı bozması, depoda tutulanın canlı dizinden büyük olması ve geri yükleme ile kaynaktan yeniden dizinlemenin kopyalanan bayt, işlenen belge, küme ile sıra üzerinden karşılaştırılması.
  8. 08 Erişim Denetimi Arama kümesinin yetki yüzeyi: aynı sorgunun okuyucu, görevli ve kapsamsız anahtar altında döndürdüğü dizin, belge ve alan kümesinin sayılması, belge düzeyi süzmenin puanlamadan önce mi sonra mı uygulandığının ilk on sonuca ve derin sıraya etkisinin ölçülmesi, süzülen belgelerin sayaç üzerinden sızdırdığı bilginin gösterilmesi, kapsamı yazılmamış bir anahtarın eriştiği dizin sayısıyla süresi dolmuş anahtarın yanıtsız bıraktığı sorgunun sayılması ve kursun yirmi üç dersinin küme, sıra ve bedel tablosunda toplanması.

Aramak için yazmaya başlayın.

↑↓ ↵ Esc gezin · aç · kapat