01
Doğal Dil İşleme
Kısa Türkçe saha notlarının sayıya çevrilmesinde her kararın kattığının sayılması: üç belirteçleme kararının üç ayrı sözlük ve sözlük dışı oranı vermesi ile eklemeli yapının gövdelemeyi zorlaştırması, sözcük torbasının elle sayılmış metin özniteliklerine kattığı ve terim ağırlıklandırmanın üstüne koyduğu, gömmenin bağlamdan öğrenilmesi ve oran benzeşiminin çoğu zaman en sık sözcüğe düşmesi, aynı çıktının belirteç düzeyinde yüksek varlık düzeyinde düşük sayı vermesi ve en sık etiketi her belirtece yazan tabanın şaşırtıcı yüksekliği, sınıflandırma boru hattında her adımın payı, maskeli kestirimle önceden eğitilen gömmenin etiketli örnek azaldıkça öne geçmesi, girdiyi kopyalayan yordamın örtüşme temelli ölçütte aldığı yüksek sayı ve aynı çıktının dört ölçütte dört ayrı sıralaması.
- 01 Metin Ön İşleme Kısa Türkçe saha notlarının belirteçlere bölünmesinde kararın oynattığı sayının ölçülmesi: alanın tabanı boşlukla ayırma 748 belirteçlik sözlük ve 0,0565 sözlük dışı oranı verirken noktalama atılıp küçük harfe inildiğinde sözlük 669'a, gövdeleme eklendiğinde 641'e ve oran 0,0557'ye iniyor. Sözlük dışının 0,9467'si sayıdır; sayılar tek belirtece katlandığında sözlük 203, 124 ve 96 oluyor. Kural tabanlı gövdeleyici 85 kökü 103 gövdeye bölüyor, 19 kökü birden çok gövdeye dağıtıyor ve bir gövdede iki kökü birleştiriyor; çizelgeye dayalı kök bulma sözlüğü 82'ye indiriyor ama kapsamı 0,9967 ve tanımadığı biçimde hiçbir şey yapamıyor.
- 02 Sayısal Temsil Kısa saha notlarının sütuna çevrilmesinde her kararın kattığının aynı model ve aynı ayrılmış payla sayılması: alanın tabanı olan elle sayılmış beş sayı 0,7383 verirken en sık sınıf 0,7017'de kalıyor, 96 gövdelik sözcük torbası 0,8217'ye çıkıyor ve çizgiyi 0,0833 geçiyor. Sözlük boyu 8'den 64'e katkı ekliyor, 64'ten 96'ya tam sıfır ekliyor. Ham sayım ile ters belge sıklığı ağırlığı doğruluğu hiç oynatmıyor (0,0833), taşıyıcı sözcük atmak 0,0067 kaybettiriyor ve olay türünü bilen tavan 0,8250 — torba tavanın 0,0033 altındadır.
- 03 Kelime Gömmeleri Sözlüğün her öğesine bağlamdan öğrenilen bir vektör verilmesi ve komşuluğun kurgunun kendi öbek havuzlarına karşı sayılması: rastgele komşunun beklenen oranı 0,2543 iken ham birlikte geçme vektörü 0,4938, sekiz boyutlu öğrenilen gömme 0,6049 veriyor. Toplam sayı yanıltıyor — 81 biçimin 49'u tek bir kalıpta geçen seyrek adlardır ve orada ham sayım bile 0,7755 veriyor, sık biçimlerde ise rastgele 0,0462, ham sayım 0,0625, öğrenilen gömme 0,2500. Oran benzeşimi 72 sınamanın 0,0972'sinde tutuyor ve tutmayanlar en sık sözcüğe değil, bağlamı en dar biçimlere düşüyor.
- 04 Dizi Etiketleme Etiketin belgeden alınıp her belirtece ayrı ayrı verilmesi ve doğruluğun neyi saydığının ölçülmesi: alanın tabanı olan en sık etiketi her belirtece yazmak 0,5061 belirteç doğruluğu veriyor ama varlık düzeyinde F1 0,0000 — hiçbir varlık bulunmuyor. Son üç karaktere bakan yordam iki etiketleme düzeninde de aynı 0,9824 belirteç doğruluğunu verirken varlık düzeyinde 0,9267 ve 0,9600 veriyor; belirteci ezberleyen yordam 1,0000 belirteç doğruluğuyla tür düzeninde 0,9665'te kalıyor. Sözcük türünde aynı biçimdeki taban 0,5473 verir ve orada yanıltmaz.
- 05 Metin Sınıflandırma Bir saha notunun bütününe tek bir olay türü kararı verilmesi ve boru hattının üç adımının her birinin kaç puan kattığının ayrı ayrı sayılması: en sık sınıf tabanı 0,4420, elle sayılmış yedi ölçü 0,5500, sözcük torbası ve doğrusal model 0,9620. On iki kurulum üzerinde ölçüldüğünde temsil adımı ortalama 0,3787, sınıflandırıcı adımı 0,0500, terim ağırlıklandırma 0,0140 katıyor; belirteçleme kararlarının ikisi de eksi katkı veriyor ve ek kırpma sözlüğü 109'dan 89'a indirirken ortalama 0,0165 kaybettiriyor. Bir adımın katkısı tek bir sayı değildir: ağırlıklandırma sınıf ortalamasıyla 0,0340'a çıkarken doğrusal modelle 0,0060 eksiye iniyor.
- 06 Önceden Eğitim ve İnce Ayar Maskeli kestirimle etiketsiz notlardan öğrenilen bir gömme tablosunun etiketli göreve taşınması ve kattığı farkın etiket sayısıyla birlikte okunması: vekil görev kendi ölçüsünde 0,0419 tabanını 0,3450'ye çıkarıyor ve bunun için sıfır etiket harcanıyor. Alanın tabanı 0,4420 iken yirmi etiketle sıfırdan eğitim 0,5850, önceden eğitim ve ince ayar 0,7480 veriyor; sıfırdan eğitim bu sayıya ancak kırk etiketle ulaşıyor. Fark yüz altmış etikette 0,0090 eksiye döner. Öğrenmeyen denetim kurulumu — rastgele tablonun dondurulması — beş ölçümde de 0,51'in altında kalıyor ve iki koşumu 0,1320 ayrılıyor; önceden eğitilmiş tablonun iki koşumu 0,0020 ayrılıyor.
- 07 Metin Üretimi ve Özetleme Çıktının bir etiket değil metin olduğu görevlerde ölçütün ne ödüllendirdiğinin sayılması: girdiyi olduğu gibi geri veren, hiçbir şey öğrenmemiş bir yordam örtüşme temelli ölçütün duyarlılık yönünde 1,0000 alıyor ve dört yordamın birincisi oluyor. Aynı yordam kesinlik yönünde 0,6362, dengeli biçimde 0,7777 veriyor ve üçüncülüğe düşüyor. Kopyanın sonuna sekiz ilgisiz sözcük eklendiğinde duyarlılık 1,0000'de kalırken kesinlik 0,6362'den 0,2700'e iniyor. Kaynak metnin içeriğini doğru bildiren ama başka sözcüklerle yazan üretici yordam dengeli biçimde 0,0684, iki'li dizide 0,0114 alıyor; içerik denetiminde 0,9320 ile ikinci sırada.
- 08 Doğal Dil İşleme Ölçütleri Tek bir çıktının dört ölçütte okunması ve dört ölçütün dört ayrı sıralama vermesi: aynı dört sistem belirteç düzeyinde B > A > C > D, varlık düzeyinde A > B > C > D, belge düzeyinde C > B > A > D, örtüşme duyarlılık yönünde D > B > A > C sıralanıyor ve her ölçütün birincisi başka bir sistem. Her ölçüt kendi tabanına karşı okunur: belirteç düzeyinde en sık etiket 0,3970, belge düzeyinde en sık sınıf 0,4420, varlık düzeyinde hiç aralık işaretlememek 0,0000, örtüşmenin duyarlılık yönünde bütün girdiyi işaretlemek 1,0000. Son satırda taban ile en iyi sistem arasındaki fark tam olarak 0,0000'dır.