Farkındalık Programları

Altı ders boyunca ölçülen her denetim teknikti: bir yordam, bir eşik, bir kapı, bir karma. Oysa zincirlerin çoğunda kırılabilen halka bir kişinin verdiği karara bağlıydı — geri arayıp aramamaya, bir göstergeyi fark edip bildirmeye, bir kapıyı tutup tutmamaya. Bu ders o kararı eğitilebilir bir davranış olarak ele alır ve eğitimin etkisini iki ölçütle ölçer.

Ölçütlerin ikisi de orandır ve ters yönde okunur: bildirim oranı yükselmeli, tıklama oranı düşmelidir. İkisi de bir programın hemen ardından iyileşir, sonra eski değerine döner. Bu dersin asıl sorusu iyileşmenin büyüklüğü değil, kalıcılığıdır: kazanç kaçıncı haftada erir ve pekiştirmenin bedeli neye eşittir? Üçüncü bir sayı iki oranı tek bir işletme büyüklüğüne bağlar — ilk bildirim gelene kadar kaç alıcının iletiye tıklamış olduğu.

• SM37. Kişi sayısı, oranlar ve dakikalar kurgusal bölgesel ölçüm ağının saha ve abone hizmetleri ekiplerine aittir. Gerçek bir tatbikat koşulmuyor; ölçülen şey node ile kurulan modeldir.
• SM38. Erime üstel kabul edildi: kazancın sabit bir oranı her hafta korunur. Gerçekte erime düzgün değildir ve dönemsel olaylarla sıçrar; üstel biçim dönüş haftasını yaklaşık verir.
• SM39. Eğitim etkisi herkeste aynı sayıldı. Gerçekte etki kişiye ve göreve göre değişir; ortalamayla çalışmak dağılımın kuyruğunu — hiç bildirmeyen kesimi — gizler.
• SM40. İlk bildirime kadar işlenen alıcı sayısı beklenen değerdir ve bildirim oranının tersidir. Bildirimin savunmaya ulaşma ve işleme süresi modellenmedi; gerçekte bu süre sayıyı büyütür.
• SM41. Bildirim gelir gelmez kampanyanın kalan alıcılar için durdurulabildiği varsayıldı. Bu, bildirimi işleyen tarafın hazır olmasına bağlıdır ve her kurumda geçerli değildir.
• SM42. Ölçüm koşumlarının kendisi de davranışı etkiler. Bu geri besleme modellenmedi; ölçüm sıklığı sabit tutuldu.

İki Ölçütün Haftalık Seyri

// program.mjs — farkindalik programinin iki olcutu, erime modeli ve zincir baglantisi; model
export const TEMEL = { bildirim: 8, tiklama: 31 };      // egitim oncesi yuzde, kurgu
export const ETKI = { bildirim: 34, tiklama: -22 };     // egitim haftasindaki puan degisimi
export const ERIME = { bildirim: 0.75, tiklama: 0.80 }; // kazancin haftalik kalan orani
export const KISI = 250, EGITIM_DK = 25, OLCUM_DK = 90; // kurgu: kisi sayisi ve dakika
// olcut degeri: temel + kazancin o haftaki kalani
export const deger = (o, gecenHafta) => TEMEL[o] + ETKI[o] * ERIME[o] ** gecenHafta;
export const kazanc = (o, gecenHafta) => Math.abs(ETKI[o]) * ERIME[o] ** gecenHafta;
// ilk bildirim gelene kadar islenen alici sayisi ve o sirada tiklamis olan kisi sayisi
export const ilkBildirim = (b) => 1 / (b / 100);
export const oncekiTiklama = (b, t) => ilkBildirim(b) * (t / 100);
// ders 02'deki ileti zinciri: adim bitince dusen kalem
export const ZINCIR_DUSEN = [0, 1, 1, 3, 6];
export const KUMUL = (() => { let s = 0; return ZINCIR_DUSEN.map((d) => (s += d)); })();
export function hafta(n, aralik) { // son egitimden bu yana gecen hafta
  return aralik ? n % aralik : n;
}

// kosum1.mjs — tek egitimden sonra iki olcutun haftalik seyri ve eski degerine donus haftasi
import { TEMEL, ETKI, ERIME, KISI, deger, kazanc, ilkBildirim, oncekiTiklama } from './program.mjs';

console.log(`temel bildirim %${TEMEL.bildirim}, temel tiklama %${TEMEL.tiklama}; ` +
  `egitim etkisi ${ETKI.bildirim >= 0 ? '+' : ''}${ETKI.bildirim} ve ${ETKI.tiklama} puan`);
console.log(`kazancin haftalik kalan orani: bildirim ${ERIME.bildirim}, tiklama ${ERIME.tiklama}; kampanya alicisi ${KISI}\n`);
console.log(`${'hafta'.padStart(5)} ${'bildirim %'.padStart(10)} ${'kazanc'.padStart(6)} ${'tiklama %'.padStart(9)} ` +
  `${'kazanc'.padStart(6)} ${'ilk bildirime kadar alici'.padStart(24)} ${'o ana kadar tiklayan'.padStart(20)}`);
for (let n = 0; n <= 16; n += 2) {
  const b = deger('bildirim', n), t = deger('tiklama', n);
  console.log(`${String(n).padStart(5)} ${b.toFixed(1).padStart(10)} ${kazanc('bildirim', n).toFixed(1).padStart(6)} ` +
    `${t.toFixed(1).padStart(9)} ${kazanc('tiklama', n).toFixed(1).padStart(6)} ` +
    `${ilkBildirim(b).toFixed(1).padStart(24)} ${oncekiTiklama(b, t).toFixed(2).padStart(20)}`);
}
for (const o of ['bildirim', 'tiklama']) {
  let n = 0; while (kazanc(o, n) >= 1) n++;
  console.log(`\n${o}: kazanc ${n}. haftada 1 puanin altina iniyor (o hafta deger %${deger(o, n).toFixed(1)}, temel %${TEMEL[o]})`);
}
const b0 = deger('bildirim', 0), t0 = deger('tiklama', 0);
console.log(`\nhafta 0: ilk bildirime kadar ${ilkBildirim(b0).toFixed(1)} alici, ${oncekiTiklama(b0, t0).toFixed(2)} tiklama`);
console.log(`temel duzey: ilk bildirime kadar ${ilkBildirim(TEMEL.bildirim).toFixed(1)} alici, ` +
  `${oncekiTiklama(TEMEL.bildirim, TEMEL.tiklama).toFixed(2)} tiklama; oran ` +
  `${(oncekiTiklama(TEMEL.bildirim, TEMEL.tiklama) / oncekiTiklama(b0, t0)).toFixed(1)} kat`);

temel bildirim %8, temel tiklama %31; egitim etkisi +34 ve -22 puan
kazancin haftalik kalan orani: bildirim 0.75, tiklama 0.8; kampanya alicisi 250

hafta bildirim % kazanc tiklama % kazanc ilk bildirime kadar alici o ana kadar tiklayan
    0       42.0   34.0       9.0   22.0                      2.4                 0.21
    2       27.1   19.1      16.9   14.1                      3.7                 0.62
    4       18.8   10.8      22.0    9.0                      5.3                 1.17
    6       14.1    6.1      25.2    5.8                      7.1                 1.80
    8       11.4    3.4      27.3    3.7                      8.8                 2.39
   10        9.9    1.9      28.6    2.4                     10.1                 2.89
   12        9.1    1.1      29.5    1.5                     11.0                 3.25
   14        8.6    0.6      30.0    1.0                     11.6                 3.49
   16        8.3    0.3      30.4    0.6                     12.0                 3.64

bildirim: kazanc 13. haftada 1 puanin altina iniyor (o hafta deger %8.8, temel %8)

tiklama: kazanc 14. haftada 1 puanin altina iniyor (o hafta deger %30.0, temel %31)

hafta 0: ilk bildirime kadar 2.4 alici, 0.21 tiklama
temel duzey: ilk bildirime kadar 12.5 alici, 3.88 tiklama; oran 18.1 kat

Haftalık tablo iki ölçütün aynı yönde ama farklı hızda eridiğini gösteriyor. Bildirim oranı sıfırıncı haftada yüzde kırk ikidir; on ikinci haftada yüzde dokuza iner ve on üçüncü haftada kazanç bir puanın altına düşer. Tıklama oranı yüzde dokuzdan başlar ve on dördüncü haftada eski değerine döner. İki ölçüt arasındaki bir haftalık fark erime katsayılarındandır; ölçünün taşıdığı sonuç ise ortaktır: tek bir eğitimin etkisi bir çeyrek dönemden kısa sürer.

Erimenin hızı da düzgün dağılmıyor. Bildirim kazancı ilk iki haftada 34 puandan 19,1 puana iniyor — kazancın yüzde kırk dördü iki hafta içinde gidiyor — ve kalan on bir haftada geri kalanı eriyor. Programın etkisini ölçen bir çalışma eğitim haftasında ölçüm yaparsa, gerçekte iki hafta sonra kalmayacak bir değeri raporlamış olur. Ölçümün ne zaman yapıldığı, ölçülen değerin kendisi kadar belirleyicidir.

Son iki sütun oranları bir işletme sayısına çeviriyor. Bildirim oranı yüzde kırk ikiyken ilk bildirim ortalama 2,4 alıcıdan sonra gelir ve o ana kadar tıklamış kişi sayısı 0,21’dir. Program hiç yokken ilk bildirim 12,5 alıcı sonra gelir ve o ana kadar 3,88 kişi tıklamıştır. Aradaki oran 18,1 kattır, oysa iki oranın kendi değişimi üç ile dört kat arasındadır. İki ölçüt aynı yönde çalıştığında etkileri çarpılır: hem daha az kişi tıklar hem de tıklayanların sayısı daha erken durdurulur.

Bu, iki ölçütten hangisinin daha önemli olduğu sorusunu da yanıtlıyor. Tıklama oranı zararın hızını belirler, bildirim oranı ise zararın süresini. Yalnız tıklama oranını izleyen bir program, kampanyanın ne zaman durduğunu hiç ölçmemiş olur.

Pekiştirmenin Getirisi

// kosum2.mjs — pekistirme araligi karsilastirmasi, program bedeli ve zincirdeki karsiligi
import { TEMEL, KISI, EGITIM_DK, OLCUM_DK, KUMUL, deger, ilkBildirim, oncekiTiklama, hafta } from './program.mjs';

const DONEM = 26;
const ort = (v) => v.reduce((a, b) => a + b, 0) / v.length;
console.log(`${DONEM} haftalik donem, ${KISI} kisi\n`);
console.log(`${'pekistirme'.padEnd(18)} ${'egitim'.padStart(6)} ${'ort. bildirim %'.padStart(15)} ${'ort. tiklama %'.padStart(14)} ` +
  `${'ort. ilk bildirime kadar tiklama'.padStart(31)}`);
const sonuc = [];
for (const aralik of [0, 13, 6, 3]) {
  const b = [], t = [], x = [];
  for (let n = 0; n < DONEM; n++) {
    const h = hafta(n, aralik), bb = deger('bildirim', h), tt = deger('tiklama', h);
    b.push(bb); t.push(tt); x.push(oncekiTiklama(bb, tt));
  }
  const egitim = aralik ? Math.ceil(DONEM / aralik) : 1;
  sonuc.push({ aralik, egitim, b: ort(b), t: ort(t), x: ort(x) });
  console.log(`${(aralik ? `${aralik} haftada bir` : 'tek egitim').padEnd(18)} ${String(egitim).padStart(6)} ` +
    `${ort(b).toFixed(1).padStart(15)} ${ort(t).toFixed(1).padStart(14)} ${ort(x).toFixed(2).padStart(31)}`);
}
console.log(`${'program yok'.padEnd(18)} ${'0'.padStart(6)} ${TEMEL.bildirim.toFixed(1).padStart(15)} ` +
  `${TEMEL.tiklama.toFixed(1).padStart(14)} ${oncekiTiklama(TEMEL.bildirim, TEMEL.tiklama).toFixed(2).padStart(31)}`);

console.log(`\n${'pekistirme'.padEnd(18)} ${'egitim dk'.padStart(9)} ${'olcum dk'.padStart(8)} ${'toplam saat'.padStart(11)} ` +
  `${'temele gore tiklama dususu'.padStart(26)} ${'saat basina'.padStart(11)}`);
const taban = oncekiTiklama(TEMEL.bildirim, TEMEL.tiklama);
for (const s of sonuc) {
  const dk = s.egitim * KISI * EGITIM_DK, olcum = DONEM * OLCUM_DK, saat = (dk + olcum) / 60;
  console.log(`${(s.aralik ? `${s.aralik} haftada bir` : 'tek egitim').padEnd(18)} ${String(dk).padStart(9)} ` +
    `${String(olcum).padStart(8)} ${saat.toFixed(1).padStart(11)} ${(taban - s.x).toFixed(2).padStart(26)} ` +
    `${((taban - s.x) / saat).toFixed(4).padStart(11)}`);
}
console.log(`\nileti zincirinde (5 adim, hic kirilmazsa ${KUMUL[4]} kalem):`);
console.log(`  bildirim davranisi 3. halkayi kirar -> o ana kadar dusen kalem ${KUMUL[1]}`);
console.log(`  bildirim gelmezse siradaki denetim 4. halkadir -> dusen kalem ${KUMUL[2]}`);
console.log(`  en gec kirilabilen halka 5 -> dusen kalem ${KUMUL[3]}; erken kirma kazanci ${KUMUL[3] - KUMUL[1]} kalem`);

26 haftalik donem, 250 kisi

pekistirme         egitim ort. bildirim % ort. tiklama % ort. ilk bildirime kadar tiklama
tek egitim              1            13.2           26.8                            2.74
13 haftada bir          2            18.2           23.0                            1.77
6 haftada bir           5            27.5           17.0                            0.76
3 haftada bir           9            34.5           13.0                            0.40
program yok             0             8.0           31.0                            3.88

pekistirme         egitim dk olcum dk toplam saat temele gore tiklama dususu saat basina
tek egitim              6250     2340       143.2                       1.14      0.0079
13 haftada bir         12500     2340       247.3                       2.11      0.0085
6 haftada bir          31250     2340       559.8                       3.12      0.0056
3 haftada bir          56250     2340       976.5                       3.47      0.0036

ileti zincirinde (5 adim, hic kirilmazsa 11 kalem):
  bildirim davranisi 3. halkayi kirar -> o ana kadar dusen kalem 1
  bildirim gelmezse siradaki denetim 4. halkadir -> dusen kalem 2
  en gec kirilabilen halka 5 -> dusen kalem 5; erken kirma kazanci 4 kalem

Üst tablo mutlak sonucu veriyor ve beklenen yönde: pekiştirme sıklaştıkça ortalama bildirim oranı yüzde 13,2’den 34,5’e çıkıyor, ortalama tıklama yüzde 26,8’den 13,0’e iniyor. Program hiç olmadığında ilk bildirime kadar tıklayan kişi sayısı 3,88; üç haftada bir pekiştirmede 0,40. Yalnız bu tabloya bakan bir karar, aralığı olabildiğince kısaltmak olur.

Alt tablo o kararı bozuyor. Harcanan saat başına düşen kazanç on üç haftada bir pekiştirmede en yüksektir (0,0085) ve aralık kısaldıkça düşer: altı haftada bir 0,0056, üç haftada bir 0,0036. Üç haftada bir pekiştirme, on üç haftada bir pekiştirmenin dört katı saat harcayıp kazancı yalnız 2,11’den 3,47’ye çıkarır. Eğrinin biçimi bunu açıklıyor — kazanç eğitim haftasında en büyüktür ve her pekiştirme, kazancın hâlâ erimemiş olduğu bir noktaya bindirilir.

Bedelin dağılımı da okunmaya değer. Ölçüm dakikası dört satırda da aynıdır — yirmi altı hafta boyunca 2.340 dakika — ve satırlar arasındaki bütün fark eğitim dakikasından gelir. Tek eğitimde toplam 143,2 saatin 104,2 saati eğitimdir; üç haftada bir pekiştirmede toplam 976,5 saatin 937,5 saati. Ölçümün payı yüzde yirmi yediden yüzde dörde iner. Bu, ölçüm koşumlarının ucuz, eğitim oturumlarının pahalı olduğu anlamına gelir; iki ölçüt sık ölçülebilir ama sık pekiştirilemez.

Zincir satırları programın karşılığını kalem cinsinden yazıyor. Bildirim davranışı beş adımlık ileti zincirinin üçüncü halkasını kırar ve o noktada düşen kalem birdir. Bildirim gelmezse sıradaki denetim dördüncü halkadır ve orada düşen kalem ikidir. En geç kırılabilen halka beşinci adımdır: beş kalem. Erken kırma kazancı dört kalemdir ve bu, insan katmanının bu konuda ölçülen toplam katkısıdır.

Ölçütün Görmediği

Her iki ölçüt de bir ortalamadır ve ortalamanın gizlediği şey dağılımın kuyruğudur. Bildirim oranı yüzde kırk ikiye çıktığında geriye yüzde elli sekiz kalır ve bu kesimin kimlerden oluştuğu tabloda yoktur. Zincirin dördüncü halkasına — kimlik bilgisi girişine — ulaşmak için tek bir kişi yeter; ölçüt yükselirken o kişinin davranışının değişip değişmediği ölçülmemiş olabilir.

İkinci sınır, ölçümün kendisinin bir eğitim olmasıdır. Haftalık koşan bir ölçüm programı, ölçtüğü davranışı aynı zamanda besler; modeldeki erime bu geri beslemeyi içermez, dolayısıyla gerçek erime modeldekinden yavaş olabilir. Dönüş haftasının on üç çıkması bir üst sınır değil, sabit bir katsayının sonucudur.

Üçüncüsü kalıcılığın ölçüldüğü yerle ilgilidir. İlk dersteki geri arama yordamı, kişiden bağımsız olarak dört sahte talebi durduruyordu ve bedeli 1.440 saniyelik ek doğrulamaydı; farkındalık programı ise kişiye bağlıdır ve bedeli her dönem yeniden ödenir. İkisi aynı halkayı kırmaz: yordam zincirin son adımında, bildirim davranışı üçüncü adımında çalışır. Bir kurum ikisinden birini seçmez, ikisinin de kırdığı halkayı ayrı ayrı sayar — bu konunun yedi dersi boyunca ölçülen şey, hangisinin daha iyi olduğu değil, her birinin hangi halkada ve kaç kalemle kırdığıdır.

Özet

• Tek bir eğitim bildirim oranını %8’den %42’ye çıkarıyor, tıklama oranını %31’den %9’a indiriyor. Bildirim kazancı 13. haftada, tıklama kazancı 14. haftada 1 puanın altına iniyor.
• İlk bildirime kadar tıklayan kişi sayısı eğitim haftasında 0,21, program hiç yokken 3,88’dir — 18,1 kat fark. İki oranın kendi değişimi 3–4 kat olduğu halde etkileri çarpılıyor.
• Tıklama oranı zararın hızını, bildirim oranı süresini belirler. Yalnız tıklama oranını izleyen bir program kampanyanın ne zaman durduğunu ölçmemiş olur.
• 26 haftalık dönemde pekiştirme aralığı 13’ten 3 haftaya inince ortalama bildirim %18,2’den %34,5’e çıkıyor, ilk bildirime kadar tıklama 1,77’den 0,40’a iniyor.
• Saat başına kazanç 13 haftada bir pekiştirmede en yüksektir (0,0085) ve aralık kısaldıkça düşer. 3 haftada bir pekiştirme 4 kat saat harcayıp kazancı 2,11’den 3,47’ye çıkarır.
• Bildirim davranışı ileti zincirinin 3. halkasını kırar (1 kalem); en geç kırılabilen halka 5’tir (5 kalem). Erken kırma kazancı 4 kalemdir.

Sonraki Adım

Bu konu insan katmanını yedi derste ölçtü ve her derste aynı üç sütunu doldurdu. Karar anında yedi doğrulama kaleminden baskı altında biri kalıyordu; bir ileti kümesinde yönetici hedefli saldırılar meşru iletilerden daha az gösterge taşıyordu; sesli aramada güçlü doğrulama kalemi sıfırdı; bir binada sekiz yolun ikisinde hiçbir halka kırılmıyordu; taklit adayları on bir günlük bir pencere kazandırıyordu; tek bir dış kaynak kullanıcıların tamamına ulaşıyordu; ve bir farkındalık programı zincirin üçüncü halkasında dört kalemlik bir kazanç veriyordu.

Bütün bu ölçümlerin ortak bir sınırı var: hepsi içeri girilmeden önceki halkaları sayıyor. Bir kez içeri girildikten sonra zincirin nasıl sürdüğü — yazılımın kendisinin açtığı halkalar — hiç sayılmadı. Girdi doğrulamasının yapılmadığı bir alan, kullanıcının tarayıcısında çalışan bir kalem, sınır denetimi olmayan bir kopyalama ya da eşiği bulunmayan bir kimlik denemesi kendi zincirlerini kurar ve bu zincirlerin halkaları insan kararına hiç uğramaz. Sonraki konu Teknik Saldırı Sınıfları, o halkaları sayar: her sınıf kaç adımdır, hangi savunma katmanı hangi adımı kırar ve kaç adım hiçbir denetimin görmediği adımdır.