Ünite 02 / 03
Akıl Yürütme Teknikleri
Modelden daha çok adım atmasını istemenin ne kazandırdığının ve neye mal olduğunun iki görevde birden ölçülmesi: düşünce zincirinin çok adımlı hesapta kazandırıp tek adımlı sınıflandırmada belirteci katlayarak kazanç vermemesi, öz tutarlılıkta örnek sayısı bir'den dokuz'a çıkarken isabet ile çağrı bedeli ve yanlış cevapta uzlaşmanın kırılması, dallanma çarpanı arttıkça çağrı sayısının büyümesi ve kazancın durduğu yer, önce ilke sonra çözüm soran iki aşamalı istemin farkı, aynı istemde düşünce ve eylem alanının birlikte istenmesinde geçerli eylem üreten yanıt oranı, yanıt öncesi görünmeyen ara adımların belirteç bedeli ve farkın ölçülemez kaldığı görev, farklı istemlerin hatalarının örtüşmesi, arama bütçesi büyüdükçe doğrulamadaki kazancın sınamaya taşınmaması.
Yayın Güncelleme
Dersler
- 01 Düşünce Zinciri Modelden sonucu değil sonuca giden ara adımları istemenin iki ayrı görevde ölçülmesi: çok adımlı kurgu tarife hesabında isabet 0,3000'den 0,8833'e çıkıyor ve doğru yanıt başına belirteç 243,2'den 150,1'e iniyor, tek adımlı destek talebi sınıflandırmasında ise fark üç koşumda -0,0500, -0,0417 ve +0,0750 olarak işaret değiştiriyor ve koşum bandının içinde kalıyor. İki görevde de toplam belirteç yaklaşık 1,8 kat artıyor; sınıflandırmada doğru yanıt başına bedel 59,1'den 114,1 belirtece yükseliyor. 6 dk okuma
- 02 Öz Tutarlılık Aynı istemin birden çok kez koşulup yanıtların oylanmasının kazancı ve bedeli: örnek sayısı birden dokuza çıkarken isabet 0,7667'den 0,8833'e yükseliyor ve yediden sonra duruyor, çağrı sayısı 60'tan 540'a, doğru yanıt başına belirteç 172,9'dan 1343,6'ya çıkıyor. Dokuz örnekte 58 kayıtta uzlaşma kuruluyor ama beşinde uzlaşma yanlış bir cevapta; bu beş kaydın tüketimi 41 ile 45 m³ arasında, yani hatanın dağınık değil sistematik olduğu yerde. 8 dk okuma
- 03 Düşünce Ağacı Çözümün ortasından dallanmanın ölçülmesi: aynı 48 kurgu destek talebinde otuz iki arıza kodunu tek istemde soran düzen 0,4792 isabet ve 48 çağrı veriyor, çözümü adımlara bölüp her adımda birkaç uzatma isteyen düşünce ağacı dal 1'de 0,0833'e düşüyor, dal 3'te 0,6250'ye çıkıyor ve dal 4'te duruyor. Dallanma 3'ten 4'e çıkarken isabet 0,0208 geriliyor ama çağrı sayısı 795'ten 1086'ya, belirteç 43182'den 59835'e yükseliyor; bu fark aynı düzenin iki koşumu arasındaki 0,0417 farktan küçük olduğu için ölçülmemiş sayılıyor. 10 dk okuma
- 04 Geri Adım İstemi Çözmeden önce ilke sormanın ölçülmesi: aynı 48 kurgu destek talebinde tek aşamalı istem 0,5417 kod isabeti ve 48 çağrı veriyor, önce genel kuralı sorup sonra çözüm isteyen iki aşamalı istem 0,7500 veriyor ve bunu 96 çağrı ile 1,66 kat belirteçle yapıyor. Kazancın tamamı birinci aşamaya bağlı: doğru ilkede kod isabeti 0,8000, yanlış ilke dayatıldığında 0,0000 ile 0,1458 arasına düşüyor, yani tek aşamalının altına iniyor. Aynı düzen yalnız derece soran görevde isabeti hiç oynatmıyor ama belirteci 2,69 katına çıkarıyor. 7 dk okuma
- 05 Akıl Yürüt ve Davran Aynı istemde düşünce alanı ile eylem alanının birlikte istenmesinin ölçüsü: 120 kurgu destek talebinde eylem alanı istendiğinde yanıtların yalnız 0,1000 payı geçerli bir eylem alanı üretiyor, eylem kümesi isteme yazıldığında 0,5250, düşünce tek cümleye indirildiğinde 0,8000. Bedel giriş belirtecinde 5300'den 8060'a çıkıyor ve geçerli eylem alanı başına 645,8 belirteçten 102,1 belirtece iniyor. İki koşum karşılaştırması eylem kümesini yazmanın farkını ölçülemez bırakıyor. 8 dk okuma
- 06 Akıl Yürüten Modeller Yanıt yazmadan önce görünmeyen ara adımlar üreten model sınıfının ölçüsü: aynı 120 kurgu destek talebinde tek alanlı görevde iki sınıfın isabet farkı −0,0333 ve +0,1167 kalıyor, iki koşum farkı 0,1167 olduğu için ölçülmemiş sayılıyor ve belirteç 1,75 kata çıkıyor. İki alanlı görevde fark +0,1000 ve +0,1667 ile bandın üzerine çıkıyor; tek geçişli sınıf kendi yazdığı etiketle kod alanını yanıtların 0,2333 payında çelişiyor. Doğru yanıt başına bedel 52,0'den 95,1'e ve 83,9'dan 110,1 belirtece yükseliyor. 8 dk okuma
- 07 İstem Topluluğu Aynı 120 kurgu destek talebine üç ayrı yönergeyle bakılıyor ve topluluğun dayandığı varsayım sınanıyor: farklı istemler farklı hatalar yapar mı. Üç istem tek başına 0,7750, 0,6583 ve 0,7833 veriyor, dokuz kayıtta üçü birden yanılıyor ve tavan 0,9250 çıkıyor. Çoğunluk oyu 0,8000'de kalıyor: tavanın 0,1250 altında, en iyi tek istemin yalnız 0,0167 üstünde ve bu kazanç aynı istemlerin iki koşum arasındaki 0,0333 ile 0,1333 farkının altında. Bedel çağrı sayısıyla yazılıyor: 120 çağrı 360 çağrıya, doğru etiket başına 61,1 belirteç 180,7 belirtece çıkıyor. 11 dk okuma
- 08 Otomatik İstem Eniyileme İstem elle yazılmak yerine bir ölçütle aranıyor: dört parçadan mekanik olarak on aday üretiliyor, kurgu destek talepleri 40 kayıtlık doğrulama ve 80 kayıtlık sınama kümesine ayrılıyor. Arama bütçesi bir adaydan on adaya çıkarken doğrulamadaki en iyi puan 0,7750'den 0,9000'e yükseliyor, aynı adayın sınama puanı 0,6750'den 0,6500'e iniyor: doğrulama kazancı +0,1250, sınama kazancı -0,0250 ve seçilen adayın iyimserlik payı 0,2500. Arama 40 çağrıdan 400 çağrıya çıkıyor, sınamada gerçekten en iyi olan aday (0,8000) hiç seçilmiyor ve ikinci koşumda arama başka bir adayı seçiyor. 10 dk okuma