İçeriğe geç
academia.sh
en
Giriş yap

Kurs Orta

İstem Mühendisliği

Bu kursun sonunda

Kursa başla

01

İstem Tasarımı

İstemin bileşenlerine ayrılması ve her tasarım kararının sayıyla bedelinin yan yana ölçülmesi: girdi, bağlam ve yönergenin belirteç payı ile bir bileşen çıkarıldığında olan, sistem yönergesinin her istekte tekrarlanmasının büyüttüğü toplam ve kısaltmanın düşürdüğü isabet, rol belirtmenin kattığı farkın iki koşum farkıyla karşılaştırılması, belirsiz bir istemin on koşumda kaç ayrı biçimde yanıtlandığı, biçim kısıtının makinece ayrıştırılabilir yanıt oranı ile uzunluk sınırının bedeli, örnek sayısı sıfırdan sekize çıkarken kazancın doyduğu nokta ve örnek sırasının etkisi, yasak bildiriminin ihlali artırdığı durum ve olumlu bildirimle karşılaştırılması, yineleme sayısı arttıkça doğrulama ile sınama sayılarının ayrışması.

  1. 01 İstem Nedir İstemin girdi, bağlam ve yönerge bileşenlerine ayrılması ve her birinin belirteç payının ölçülmesi: 120 kurgu destek talebinde yönerge 0,3945, bağlam 0,3114, girdi 0,2941 pay tutuyor. Tek bir bileşen çıkarıldığında sayı ve bedel yan yana okunuyor. Tam istem 0,7833 etiket isabeti ve 5974 belirteç veriyor; bağlam çıkarıldığında 0,7083 ve 4177, yönerge çıkarıldığında 0,7167 ve 4751, girdi çıkarıldığında 0,1417 ve 4197. İki koşum farkı tam istemde 0,0583 iken bileşeni eksik istemlerde 0,2000 ile 0,2583 arasına çıkıyor.
  2. 02 Sistem Yönergesi Kalıcı davranış tanımının her istekte yeniden gönderildiği ve bedelinin istek sayısıyla çarpıldığı ölçülüyor: 62 belirteçlik bir yönerge tek istemin 0,8378 payını, 120 istekte 7440 belirteci tutuyor. Dört uzunluk yan yana konuyor. Yönergesiz istem 0,4583 etiket isabeti ve 2985 belirteç, kısa yönerge 0,7167 ve 4751, orta yönerge 0,7500 ve 5856, uzun yönerge 0,7417 ve 9343 veriyor. Uzun yönergeyi ortaya indirmek 3487 belirteç kazandırıyor ve isabetten hiçbir şey götürmüyor; ortayı kısaya indirmek 1105 belirteç kazandırıyor ama etiketsiz yanıt payını 0,0250'den 0,2167'ye çıkarıyor.
  3. 03 Rol ve Davranış Belirtme İsteme rol ve davranış öneki eklemenin kattığı farkın ölçülüp aynı istemin koşum farkıyla karşılaştırılması. Aynı 120 kurgu destek talebinde önekli istemlerin isabeti 0,7500 tabana göre -0,0667, -0,0583, -0,2208 ve +0,0125 oynuyor; tabanın dört tohumdaki bandı ise 0,1500. Dört önekten hiçbiri bandın dışına çıkmıyor, yani hiçbirinin farkı ölçülmüş sayılmıyor. Ölçülen tek şey bedeldir: 9 ile 27 belirteç arasındaki önekler 120 istekte 1080 ile 3240 belirteç ekliyor ve doğru etiket başına bedeli 65,1'den 84,6 ile 123,8 arasına çıkarıyor.
  4. 04 Açık ve Ölçülebilir Talep Belirsiz bir talebin tek bir yanlış yanıt değil bir dağılım ürettiği ölçülüyor: aynı belirsiz istem on koşumda kayıt başına ortalama 4,81 ayrı yanıt veriyor, en sık yanıt koşumların yalnız 0,3944 payında tekrarlanıyor ve yanıtların 0,4333 payından hiçbir etiket okunamıyor. Dört talep biçimi yan yana konuyor. Fiili açmak iki belirteç ekliyor ve dağılımı 4,53'e indiriyor; seçenek kümesini kapatmak 15 belirteç ekleyip dağılımı 3,89'a, etiketsiz payı 0,2889'a indiriyor; belirsizlik kuralı eklemek 10 belirteç daha ekleyip etiketsiz payı 0,3722'ye geri çıkarıyor. Tek koşumda okunan isabetin bandı 0,2778 ile 0,3333 arasındadır ve dört talebi birbirinden ayıramaz.
  5. 05 Biçim ve Uzunluk Denetimi Açık bir talebin yanıtı hâlâ serbest metindir ve bir program onu okuyamaz. Aynı 120 kurgu destek talebinde üç alanlı bir kayıt isteniyor: serbest yanıtta katı alan ayrıştırıcısının okuduğu oran 0,0000, biçim bildirimi eklendiğinde 0,9750 oluyor ve etiket isabeti 0,3083'ten 0,6833'e çıkıyor. Bedel giriş belirtecinde 6140'tan 8780'e çıkış, çıkış belirtecinde 1392'den 2026'ya artıştır. En büyük çıktı uzunluğu 24'ten 10'a indirildiğinde çıkış belirteci 2026'dan 1170'e iniyor ama ayrıştırılabilir oran 0,9750'den 0,0000'a düşüyor; ara değerlerde eğri kesilen yanıt sayısına birebir bağlı kalıyor.
  6. 06 Örnek Kullanımı Sıfır, tek ve az örnekli yönlendirme aynı görevde yan yana ölçülüyor. Örnek sayısı sıfırdan sekize çıkarken 112 kurgu destek talebinde isabet 0,8571'den 0,9732'ye gidiyor, ama kazanç üçüncü örnekte doyuyor: sıfırdan üç örneğe +0,1071 isabet 4928 ek giriş belirteciyle geliyor, üçten sekize +0,0089 isabet 8736 ek belirteçle geliyor ve dört ile sekiz arası ortalama 0,9250 ile üç örnekteki 0,9643 sayısının altında kalıyor. Aynı dört örnek yalnız sırası değiştirilerek yazıldığında isabet 0,7679 ile 0,9196 arasında geziniyor ve giriş belirteci her sırada aynı kalıyor.
  7. 07 Kısıt ve Yasak Bildirimi Aynı kural iki ayrı biçimde yazılıp 120 kurgu destek talebinde ölçülüyor. Hiçbir bildirim yokken ihlal oranı 0,2583; yasak bildirimi eklendiğinde 0,5333'e çıkıyor ve yasaklanan sözcüklerden birinin geçtiği yanıt sayısı 5'ten 35'e yükseliyor. Aynı kuralı olumlu bildiren istem ihlali 0,0167'ye indiriyor ve etiket isabetini 0,6667'den 0,8333'e çıkarıyor. İkisi birlikte yazıldığında ihlal 0,1583 oluyor: yasağı olumlu bildirime eklemek sayıyı yaklaşık on kat kötüleştiriyor. Bedel yan yana yazılıyor; olumlu bildirim önlenen ihlal başına 115,9 giriş belirteci tutuyor.
  8. 08 İstem Yinelemesi Ölçerek iyileştirme döngüsünün kendisi ölçü altına alınıyor. On aday değişiklik 30 kayıtlık bir doğrulama kümesinde sekiz yineleme boyunca aç gözlü aranıyor: doğrulama isabeti 0,4000'den 1,0000'a çıkıyor ve beşinci yinelemede tavana vuruyor, sınama isabeti aynı noktada 0,9333 ile en yükseğine ulaşıp sekizinci yinelemede 0,8111'e iniyor. Doğrulamadaki iki koşum farkının ortalaması 0,1037, adım kazancının ortalaması 0,0625: sekiz yinelemenin yalnızca ikisi kendi ölçüm gürültüsünden büyük. Arama başka bir koşumda tekrarlandığında sekiz adımın yalnız biri aynı yerde aynı değişikliği seçiyor. Bedel 2640 çağrıdır ve seçilen sekiz değişiklikten üçü görevle ilgisizdir.

02

Akıl Yürütme Teknikleri

Modelden daha çok adım atmasını istemenin ne kazandırdığının ve neye mal olduğunun iki görevde birden ölçülmesi: düşünce zincirinin çok adımlı hesapta kazandırıp tek adımlı sınıflandırmada belirteci katlayarak kazanç vermemesi, öz tutarlılıkta örnek sayısı bir'den dokuz'a çıkarken isabet ile çağrı bedeli ve yanlış cevapta uzlaşmanın kırılması, dallanma çarpanı arttıkça çağrı sayısının büyümesi ve kazancın durduğu yer, önce ilke sonra çözüm soran iki aşamalı istemin farkı, aynı istemde düşünce ve eylem alanının birlikte istenmesinde geçerli eylem üreten yanıt oranı, yanıt öncesi görünmeyen ara adımların belirteç bedeli ve farkın ölçülemez kaldığı görev, farklı istemlerin hatalarının örtüşmesi, arama bütçesi büyüdükçe doğrulamadaki kazancın sınamaya taşınmaması.

  1. 01 Düşünce Zinciri Modelden sonucu değil sonuca giden ara adımları istemenin iki ayrı görevde ölçülmesi: çok adımlı kurgu tarife hesabında isabet 0,3000'den 0,8833'e çıkıyor ve doğru yanıt başına belirteç 243,2'den 150,1'e iniyor, tek adımlı destek talebi sınıflandırmasında ise fark üç koşumda -0,0500, -0,0417 ve +0,0750 olarak işaret değiştiriyor ve koşum bandının içinde kalıyor. İki görevde de toplam belirteç yaklaşık 1,8 kat artıyor; sınıflandırmada doğru yanıt başına bedel 59,1'den 114,1 belirtece yükseliyor.
  2. 02 Öz Tutarlılık Aynı istemin birden çok kez koşulup yanıtların oylanmasının kazancı ve bedeli: örnek sayısı birden dokuza çıkarken isabet 0,7667'den 0,8833'e yükseliyor ve yediden sonra duruyor, çağrı sayısı 60'tan 540'a, doğru yanıt başına belirteç 172,9'dan 1343,6'ya çıkıyor. Dokuz örnekte 58 kayıtta uzlaşma kuruluyor ama beşinde uzlaşma yanlış bir cevapta; bu beş kaydın tüketimi 41 ile 45 m³ arasında, yani hatanın dağınık değil sistematik olduğu yerde.
  3. 03 Düşünce Ağacı Çözümün ortasından dallanmanın ölçülmesi: aynı 48 kurgu destek talebinde otuz iki arıza kodunu tek istemde soran düzen 0,4792 isabet ve 48 çağrı veriyor, çözümü adımlara bölüp her adımda birkaç uzatma isteyen düşünce ağacı dal 1'de 0,0833'e düşüyor, dal 3'te 0,6250'ye çıkıyor ve dal 4'te duruyor. Dallanma 3'ten 4'e çıkarken isabet 0,0208 geriliyor ama çağrı sayısı 795'ten 1086'ya, belirteç 43182'den 59835'e yükseliyor; bu fark aynı düzenin iki koşumu arasındaki 0,0417 farktan küçük olduğu için ölçülmemiş sayılıyor.
  4. 04 Geri Adım İstemi Çözmeden önce ilke sormanın ölçülmesi: aynı 48 kurgu destek talebinde tek aşamalı istem 0,5417 kod isabeti ve 48 çağrı veriyor, önce genel kuralı sorup sonra çözüm isteyen iki aşamalı istem 0,7500 veriyor ve bunu 96 çağrı ile 1,66 kat belirteçle yapıyor. Kazancın tamamı birinci aşamaya bağlı: doğru ilkede kod isabeti 0,8000, yanlış ilke dayatıldığında 0,0000 ile 0,1458 arasına düşüyor, yani tek aşamalının altına iniyor. Aynı düzen yalnız derece soran görevde isabeti hiç oynatmıyor ama belirteci 2,69 katına çıkarıyor.
  5. 05 Akıl Yürüt ve Davran Aynı istemde düşünce alanı ile eylem alanının birlikte istenmesinin ölçüsü: 120 kurgu destek talebinde eylem alanı istendiğinde yanıtların yalnız 0,1000 payı geçerli bir eylem alanı üretiyor, eylem kümesi isteme yazıldığında 0,5250, düşünce tek cümleye indirildiğinde 0,8000. Bedel giriş belirtecinde 5300'den 8060'a çıkıyor ve geçerli eylem alanı başına 645,8 belirteçten 102,1 belirtece iniyor. İki koşum karşılaştırması eylem kümesini yazmanın farkını ölçülemez bırakıyor.
  6. 06 Akıl Yürüten Modeller Yanıt yazmadan önce görünmeyen ara adımlar üreten model sınıfının ölçüsü: aynı 120 kurgu destek talebinde tek alanlı görevde iki sınıfın isabet farkı −0,0333 ve +0,1167 kalıyor, iki koşum farkı 0,1167 olduğu için ölçülmemiş sayılıyor ve belirteç 1,75 kata çıkıyor. İki alanlı görevde fark +0,1000 ve +0,1667 ile bandın üzerine çıkıyor; tek geçişli sınıf kendi yazdığı etiketle kod alanını yanıtların 0,2333 payında çelişiyor. Doğru yanıt başına bedel 52,0'den 95,1'e ve 83,9'dan 110,1 belirtece yükseliyor.
  7. 07 İstem Topluluğu Aynı 120 kurgu destek talebine üç ayrı yönergeyle bakılıyor ve topluluğun dayandığı varsayım sınanıyor: farklı istemler farklı hatalar yapar mı. Üç istem tek başına 0,7750, 0,6583 ve 0,7833 veriyor, dokuz kayıtta üçü birden yanılıyor ve tavan 0,9250 çıkıyor. Çoğunluk oyu 0,8000'de kalıyor: tavanın 0,1250 altında, en iyi tek istemin yalnız 0,0167 üstünde ve bu kazanç aynı istemlerin iki koşum arasındaki 0,0833 ile 0,1333 farkının altında. Bedel çağrı sayısıyla yazılıyor: 120 çağrı 360 çağrıya, doğru etiket başına 61,1 belirteç 180,7 belirtece çıkıyor.
  8. 08 Otomatik İstem Eniyileme İstem elle yazılmak yerine bir ölçütle aranıyor: dört parçadan mekanik olarak on aday üretiliyor, kurgu destek talepleri 40 kayıtlık doğrulama ve 80 kayıtlık sınama kümesine ayrılıyor. Arama bütçesi bir adaydan on adaya çıkarken doğrulamadaki en iyi puan 0,7750'den 0,9000'e yükseliyor, aynı adayın sınama puanı 0,6750'den 0,6500'e iniyor: doğrulama kazancı +0,1250, sınama kazancı -0,0250 ve seçilen adayın iyimserlik payı 0,2500. Arama 40 çağrıdan 400 çağrıya çıkıyor, sınamada gerçekten en iyi olan aday (0,8000) hiç seçilmiyor ve ikinci koşumda arama başka bir adayı seçiyor.

03

Çıktı Denetimi

Belirsiz bir üreticiden gelen çıktının biçimce ve içerikçe sınırlanmasının ölçülmesi: sıcaklık, çekirdek örnekleme ve en olası k seçiminin birlikte davranışı ile iki koşum farkını hangisinin daralttığı, yineleme cezası ve durdurma dizisi eklendiğinde yineleme oranıyla erken kesilen yanıt sayısı, serbest metin, biçim tarifi ve şema dayatmasının şemaya uyan yanıt oranı ile belirteç bedeli, doğrulamanın yakaladığı şema ve iş kuralı ihlali ile yeniden denemenin kurtardığı yanıt ve mal olduğu ek çağrı, bir yanlış yanıtın bazen daha iyi yönergeyle bazen yalnız eksik bilgiyle düzelmesi, istemle dengelemenin alt grup açıklığını ne kadar daralttığı ve veri yanlılığını çözmediği.

  1. 01 Örnekleme Parametreleri Sıcaklık, çekirdek örnekleme ve en olası k seçiminin aynı istem üzerinde birlikte ölçülmesi: taban ayarda etiket isabeti 0,6417 ve iki koşum farkı 0,5667, sıcaklık 0,2'de 0,8750 ve 0,0417, çekirdek 0,50'de 0,8417 ve 0,1333, en olası k üçte 0,7833 ve 0,3583, üçü birlikte daraltıldığında 0,8667 ve 0,0083. Sabit kesim ortalama üç aday bırakırken çekirdek kesimi 1,20 aday bırakıyor. Giriş belirteci 5300'de sabit kalıyor ve çağrı sayısı 120'de durduğu için değişikliğin bedeli on üç çıkış belirtecidir.
  2. 02 Cezalar ve Durdurma Dizileri Yineleme cezası ve durdurma dizisinin aynı yanıt üretiminde ölçülmesi: taban düzenekte yineleme oranı 0,3431 ve 120 yanıtın 107'si uzunluk sınırında kesiliyor, isteme yazılan yasak bildirimi oranı 0,2167'ye indirirken giriş belirtecini 2734'ten 3574'e çıkarıyor, aynı işi 0,45 yineleme cezası sıfır ek belirteçle 0,1972'ye indiriyor. Durdurma dizisi kesilen yanıt sayısını 55'e, ceza ile birlikte 24'e düşürüyor ve çıkış belirtecini 4073'ten 2653'e indiriyor, ama yirmi beş yanıtı etiket cümlesi yazılmadan erken kesip kullanılabilirliği 0,8833'ten 0,7417'ye düşürüyor. Durdurma dizisi satırında iki koşum farkı 0,0543'tür ve tabana göre kazancın 0,0746 olması bu satırı sınırda ölçülebilir kılar.
  3. 03 Yapılandırılmış Çıktı Serbest metin, isteme yazılmış biçim tarifi ve şema dayatmasının aynı 120 kurgu talepte yan yana ölçülmesi: serbest metinde şemaya uyan yanıt oranı 0,0000, biçim tarifiyle 0,8000, örnek eklendiğinde 0,8833, şema dayatmasıyla 1,0000. Biçim tarifi satırının iki koşum farkı 0,0833'tür ve örnek eklemenin kattığı fark da 0,0833 olduğu için o kazanç ölçülmemiş sayılır, üstelik 2040 belirteç ekler. Konu isabeti dört düzeyde de 0,8833'te sabit kalıyor. Giriş belirteci 2254'ten biçim tarifiyle 5614'e, örnekle 7654'e çıkarken şema dayatması 2974'te kalıyor, yani en yüksek uyumu en ucuz istem veriyor.
  4. 04 Çıktı Doğrulama Şema doğrulaması ve iş kuralı denetiminin ayrı ayrı sayılması ve üzerine bir yeniden deneme döngüsü kurulması: 120 kurgu yanıtın 24'ü şemaya uymuyor, şemadan geçen 96 kaydın 24'ü iş kuralına takılıyor ve doğrulama yokken hatalı kayıt oranı 0,4000. İki denetim birlikte kabul oranını 0,6000'a indiriyor, bir yeniden deneme 26 kaydı kurtarıp 0,8167'ye çıkarıyor ve 48 ek çağrıya mal oluyor. İkinci deneme sekiz kayıt daha kurtarıyor ama kazancı 0,0666 ile iki koşum farkı 0,0667'nin altında kalıyor. Hatayı isteme yazan deneme 23 kayıt kurtarıyor ve 514 belirteç ekliyor.
  5. 05 İstem ve Bağlam Mühendisliği Farkı Aynı hata kümesinin iki ayrı çözümle karşılaştırılması: 120 kurgu talepte taban konu isabeti 0,8833 ve arıza kodu isabeti 0,4083, ikisi birden 0,4083. İsteme ayırt edici kural yazmak konu isabetini 0,9667'ye çıkarıyor ve kod isabetine hiç dokunmuyor, kurgu kod tablosunu isteme koymak kod isabetini 0,9167'ye çıkarıyor ve konu isabetine hiç dokunmuyor. On dört konu hatasının onu yalnız yönergeyle, yetmiş bir kod hatasının altmış altısı yalnız bilgiyle düzeliyor ve her sınıfta bir hata ikisiyle de düzelmiyor. Bedel ayrışıyor: yönerge 1680, bilgi 14520 belirteç ekliyor.
  6. 06 Yanlılık Azaltıcı İstemler İstemle dengelemenin alt grup açıklığını ne kadar kapattığının ve neyi kapatmadığının ölçülmesi: 200 kurgu talepte merkez isabeti 0,9016, kırsal isabeti 0,5513 ve açıklık 0,3504. İsteme yazılan yanlılık azaltıcı bildirim açıklığı 0,3586'ya taşıyor ve 3800 belirteç ekliyor; dengeli örnek açıklığı 0,2888'e indiriyor ve 14400 belirteç ekliyor. Örneklenen yerel yazımın isabeti 0,4848'den 0,8788'e çıkıyor, örneklenmeyen yerel yazım 0,3023'te sabit kalıyor. İstem açıklığın yalnız 0,1758 payını kapatıyor. Kurs kapanışı yirmi iki dersin önceki istem, değiştirilmiş istem ve bedel satırlarını tek tabloda topluyor.

Aramak için yazmaya başlayın.

↑↓ ↵ Esc gezin · aç · kapat