Ünite 02 / 02
Dil Modellerinin Çalışma Biçimi
Verilmiş bir dil modelinin dışarıya verdiği yüzeyin ölçülmesi: aynı Türkçe metnin ettiği belirteç sayısı ve eklemeli yapının bunu büyütmesi, dikkatin uzak bağlamı kullanabilmesinin karşılaştırma sayısı olarak maliyeti, bir görev kümesinin önceden eğitimde ve ince ayarda kaç örnekle düzeldiği, en olası seçimle örneklemeli seçimin aynı istemde iki koşumda verdiği, bağlam penceresi aşıldığında baştan atma, ortadan atma ve özetlemenin kazandırdığı belirteçle düşürdüğü isabet, sayma ve kesin hesap görevlerinde düzeneksiz çağrının çökmesi, kaynaksız yanıtta belgeye dayanmayan iddia oranı ve üç azaltmanın bedeli, açık ile kapalı ağırlıklı erişimin üç ölçütte karşılaştırılması, ölçüt ağırlığı değiştikçe değişen model seçimi ve dört düzeneğin belirteç ile isabet karşılaştırması.
Yayın Güncelleme
Dersler
- 01 Belirteçler Metnin modele giriş biriminin bir bedel birimi olarak ölçülmesi: 300 kurgu destek talebi 4.674 sözcük ve 8.334 belirteç ediyor, sözcük başına 1,7831; ek parçaları düşülünce 6.176 belirteç kalıyor ve eklerin payı 0,2589 çıkıyor. Altı kök yalın hâlde 6 belirteç, çoğul ve iyelik ekleri bindikçe 30 belirteç oluyor. Çıplak çağrı talep başına 27,78 belirteç ve 0,9722 alan isabeti verirken sık parçaları atan düzenek 0,50 eşiğinde 11,68 belirteçle aynı isabeti koruyor, 0,30 eşiğinde 6,23 belirtece iniyor ama isabet 0,8611'e düşüyor. 11 dk okuma
- 02 Dönüştürücü Sezgisi Dikkatin uzak bağlamı niçin kullanabildiğinin ve bunun karşılaştırma sayısı olarak bedelinin ölçülmesi: 240 kurgu talep akışında konu nesnesi sondan ortalama 66,7 belirteç uzaktadır ve son 16 belirtece bakan okuyucu 0,0000 isabet verir, 83 akışta yanlış nesneyi, 157 akışta hiçbir şeyi döndürür. Son 64 belirteç 0,4917'ye çıkar ama 65 belirtecin ötesinde 0,0000'da kalır; uzaklıkla sönümlenen ağırlık her konumu görmesine karşın 0,3250'de kalır. Uzaklıktan bağımsız ağırlık 1,0000 verir ve bedeli 69,7 karşılaştırmadır: tam geçişte bağlam iki katına çıktığında karşılaştırma dört katına çıkar, 1024 belirteçte sabit pencerenin 8,26 katıdır. 6 dk okuma
- 03 Önceden Eğitim ve İnce Ayar Bir görev kümesinin ikiye ayrılıp her birinin kaç örnekle düzeldiğinin sayılması: 1.600 cümlelik kurgu genel metin yığınıyla önceden eğitilen benzetici, hiç alan örneği görmeden genel metinde 0,4616 ve alan metninde 0,2617 sonraki belirteç isabeti verir; aynı ölçü önceden eğitim olmadan 0,1246'dır. Dört yüz alan örneğiyle ince ayar alan metnini 0,5769'a çıkarır ama genel metni 0,3998'e düşürür. Kurumun kendi arıza kodu eşlemesi önceden eğitimle hiç çözülmez: isabet 0,0900'de, en sık kodun 0,1200'lük payının altında kalır ve 0,90 eşiği ancak 256 etiketli örnekle geçilir. 11 dk okuma
- 04 Çıkarım Bir yanıtın adım adım üretilmesinin bedeli ve seçim kuralının sayısı: 200 kurgu talepte en olası seçim yanıt başına 6,43 belirteç ve 211,1 karşılaştırma tutuyor, isabeti 1,0000. En büyük çıktı uzunluğu 4'e çekildiğinde bütün yanıtlar sınıra takılıyor ve isabet 0,0000'a, 6'da 0,5450'ye, 7'de 0,8100'e iniyor. Aynı istemde örnekleme dağılım sıcaklığı 0,2'den 2,0'a çıktıkça isabeti 0,9900'den 0,5600'e düşürüyor, iki koşum arasında değişen yanıt oranı 0,5550'den 0,8600'e yükseliyor; en olası seçimde bu oran 0,0000. Giriş 30 belirteç sabitken çıktı 512 belirtece uzadığında karşılaştırmanın 0,8953'ünü çıktının kendisi tutuyor. 3 dk okuma
- 05 Bağlam Penceresi Pencere aşıldığında ne olduğunun ve üç kırpma kararının kaç belirteç kazandırıp isabeti ne kadar düşürdüğünün ölçülmesi: 256 belirteçlik pencerede 300 kurgu istemin 0,5967'si sığmıyor ve çıplak çağrı 282,3 belirteçle 0,3833 tam yanıt veriyor. Baştan atmak 217,5 belirteçle 0,7433, ortadan atmak aynı belirteçle 0,7367, özetlemek 100,6 belirteçle kod isabetini 0,9667'ye çıkarıyor ama adım isabetini 0,0000'a düşürüyor. Kırpmanın hangi kararı verdiği kanıtın yerine bağlıdır: baştan atmak baş kovada 0,5351, ortadan atmak orta kovada 0,3627 veriyor. Pencere 128'den 384'e çıktığında tam yanıt 0,3767'den 0,9867'ye yükseliyor. 10 dk okuma
- 06 Yetenekler ve Sınırlar Yirmi dört kurgu destek talebinde beş görev sınıfının düzeneksiz çağrıyla ölçülmesi: özetleme 0,7500, sınıflandırma 0,8750, sıralama 0,6250, sayma 0,4167 ve kesin hesap 0,2917. Tohum değiştirildiğinde ilk üç sınıfın sayısı oynuyor, son ikisi hiç oynamıyor ve yanıtı değişen istek sayısı 0/24 çıkıyor. Sayma isabeti çekimli biçim taşımayan 10/24 isteğe, kesin hesap isabeti öbek sınırını aşan taşıma taşımayan 7/24 isteğe birebir eşit. Üç koşumlu çoğunluk düzeneği üç kat belirteçle bu iki sınıfta hiçbir şey değiştirmiyor, hesabı belirteç dışına çıkaran yordam düzeneği ikisini de 1,0000'a taşıyor. 8 dk okuma
- 07 Halüsinasyon Yirmi yedi olguluk kurgu belge dağarcığında yirmi dört soru sorulunca kaynaksız yanıtın isabeti 0,2917, uydurma oranı 0,6667 çıkıyor ve iki koşumda 16/24 istekte yanıt değişiyor. Üç azaltma yan yana ölçülüyor: kaynağa bağlama isabeti +0,3750 artırıp uydurmayı 0,3333'e indiriyor, iddia doğrulama uydurmayı 0,0857'ye indiriyor ama bedeli iki çağrı ve 55,5 belirteç, bilmiyorum seçeneği ise isabeti tabanın 0,0417 altına düşürüyor ve 10/24 isteği yanıtsız bırakıyor. Kaynağa bağlamadan sonra kalan dayanaksız iddianın tamamı belgede karşılığı olmayan sorulardan geliyor ve doğrulama düzeneği iki koşumda 0/24 fark veriyor. 10 dk okuma
- 08 Kapalı ve Açık Ağırlıklı Modeller İki erişim biçimi üç ölçütte sayıyla karşılaştırılıyor ve ölçütler tek bir biçimde birleşmiyor. Elde tutulan ayar kapalı ağırlıklı biçimde 3/9, açık ağırlıklı biçimde 9/9. Birim bedelde kapalı biçim 0,7917 isabeti istek başına 38,3 belirteçle tutuyor, açık biçim aynı isabete altı örnek eklendikten sonra 176,3 belirteçle ulaşıyor ve oran 4,60 çıkıyor. Veri sınırında kapalı biçimde 24/24 istek, 919 belirteç ve 72 sayısal alan kurum sınırını aşıyor, açık biçimde hiçbiri aşmıyor. İki ölçüt açık, biri kapalı ağırlıklı biçimi seçiyor ve üç sayının ortak birimi yok. 8 dk okuma
- 09 Model Seçimi Üç aday benzetici düzeyinde kurulup dört ölçütte sayılıyor: küçük yetenek 0,5000 isabet / 84,5 denk belirteç / 7,29 adım / 0 istek dışarı, orta yetenek 0,5833 / 181,2 / 7,00 / 0, büyük yetenek 0,7917 / 627,5 / 14,00 / 24. Beş ağırlık setinde kazanan üç kez orta, bir kez büyük, bir kez küçük çıkıyor. Ağırlık taraması eşikleri veriyor: isabet ağırlığı 4 olduğunda seçim ortadan büyüğe, bedel ağırlığı 2 olduğunda ortadan küçüğe geçiyor, gecikme ve veri sınırı ağırlıkları on ikiye kadar seçimi değiştirmiyor. Tohum 20260219 ile aynı hesap tekrarlandığında isabet ağırlıklı setin kazananı büyükten ortaya dönüyor. 6 dk okuma
- 10 Belirteç Temelli Maliyet Doksan altı istekten oluşan kurgu akışta dört düzenek belirteç ve isabet olarak karşılaştırılıyor: uzun istem 0,7083 isabet ve istek başına 156,6 belirteç, kısa istem ile örnek aynı isabeti 100,6 belirteçle veriyor, özetleyip gönderme 0,8021 ile 74,0 belirtece iniyor, sert özet 68,0 belirteçte isabeti 0,0833'e düşürüyor ve önbellek 17,7 belirteçle 0,7500 veriyor. Toplam belirteç 15.034'ten 1.702'ye iniyor ve model çağrısı 96'dan 23'e düşüyor. Bütçe 7.000 belirtece indiğinde beş düzenekten yalnız ikisi sığıyor ve tasarım seçilmiş değil dayatılmış olur. Önbelleğin isabeti iki koşumda 0,7500 ve 0,9583 çıkıyor. 5 dk okuma