İçeriğe geç
academia.sh

Kurs İleri

Yapay Zekâ Güvenliği ve Değerlendirme

Bu kursun sonunda

Kursa başla

01

Saldırı Yüzeyi

Saldırı yüzeyinin çalışan bir yük olarak değil, yapısal öznitelik profili taşıyan sınıflar olarak ayrılması ve her sınıfta savunmanın yakaladığı payın sayılması: savunmasız tabanda durdurulan zararlının ve yanlış alarmın sıfır olması, kural süzgecinin durdurduğu zararlı ile yanlışlıkla durdurduğu temiz kaydın birlikte yazılması, doğrudan ile dolaylı biçimin kaynak dağılımıyla ayrılması, eşik süpürmesinde kesinliğin artarken duyarlılığın düşmesi ve atlatmaya en açık noktanın hangi eşikte ortaya çıktığı, gizli alan adı taşıyan kayıtlarda maskelemenin çıkardığı ile süzgecin yakaladığı ve hiçbirinin yakalamadığı kalıntı, yan etkili araç adı taşıyan kayıtlarda onay kapısına gidenlerin kaçının gerçekten zararlı olduğu, kaynak sınıfı başına zararlı payı ve kaynağa göre süzmenin kattığı, çıktı tarafında gizli alan taşıyan yanıt sayısı, çekişmeli sınıfta duyarlılığın öbür sınıflara göre düştüğü nokta, kırmızı takımda kapsanan sınıf sayısı ile geçen pay ve denenmeyen sınıfın sayısının sıfır değil bilinmez olması.

  1. 01 İstem Enjeksiyonu Modele giren metnin bir saldırı yüzeyi olarak sayılması: kurgu kayıt kümesinde 240 kaydın 93'ü zararlı, 147'si temiz ve zararlı olma bilgisi metinde değil yapısal bir öznitelik profilinde duruyor. Savunmasız tabanda durdurulan zararlı 0, yanlış alarm 0; kural süzgeci 74 zararlı durduruyor, 23 temiz kaydı yanlışlıkla engelliyor ve 19 zararlı kaçıyor (kesinlik 0,7629, duyarlılık 0,7957, yanlış engelleme payı 0,1565). Doğrudan ile dolaylı biçim kaynak dağılımıyla ayrılıyor: 37 doğrudan zararlıda duyarlılık 0,6486, 56 dolaylı zararlıda 0,8929. İkinci koşumda aynı süzgeç 0,6988 veriyor; kümenin çözünürlüğü duyarlılıkta 0,0108, yanlış engellemede 0,0068.
  2. 02 Jailbreak Teknikleri Güvenlik süzgecinin atlatılmasının bir yordam olarak değil bir eşik sorusu olarak ölçülmesi: aynı 240 kayıtlık kurgu kümede eşik 0,30'dan 0,80'e çıkarken kesinlik 0,7568'den 0,9787'e yükseliyor, duyarlılık 0,9032'den 0,4946'ya düşüyor ve yanlış engelleme payı 0,1837'den 0,0068'e iniyor. Eşiği yükseltmenin değişim oranı 0,50'ye kadar bire bir (7'ye 7, 11'e 12), 0,50'nin üstünde 2,33 ve 3,25 oluyor; atlatmaya en açık bölge burasıdır. Sınıf başına duyarlılık tabloda ayrı okunuyor ve savunmanın ilk çöktüğü sınıf bozulmuş girdi (0,6842'den 0,2105'e). İkinci koşumda eşik 0,40 ve 0,60'ta duyarlılık aynı kalırken 13 ve 9 kaydın kararı değişiyor.
  3. 03 Veri Sızdırma Sistem yönergesi ve gizli veri ifşasının yalnız sayımla ölçülmesi: 240 kayıtlık kurgu kümede 32 kayıt gizli alan adı taşıyor (23 zararlı, 9 temiz) ve alan sınıfları erişim dizgesi 8, iletişim 10, abone kimliği 9, adres 5 diye dağılıyor. Sızdırma yüzeyi 35 kayıt, 26'sı zararlı. Tam kural süzgeci 25'ini durduruyor ve maskelemenin üstüne kattığı sıfır; gizli alan kuralı çıkarılmış dar süzgeç 16'sını durdururken maskeleme 9 kaydın alanını çıkarıyor. Her iki kurulumda hiçbirinin yakalamadığı kalıntı 1 kayıttır: hiçbir bayrak taşımayan, puanı 0,0088 olan ve en düşük eşikte bile işaretlenmeyen bir kayıt. Maskeleme tek başına bir karar gibi ölçüldüğünde kesinlik 0,7188, duyarlılık 0,2473, yanlış engelleme payı 0,0612 veriyor; ikinci koşumda kalıntı 0'a iniyor.
  4. 04 Araç Kötüye Kullanımı Ajan yetkisinin savunma tarafında sayılması: 240 kaydın 27'si yan etkili araç adı bayrağı taşıyor, kapısız tabanda insana giden istek 0, kapı bu 27'yi insana gönderiyor ve 24'ü gerçekten zararlı çıkıyor — kapının kesinliği 0,8889, duyarlılığı 0,2581. Kapı yetki aşımı sınıfının 10 kaydından 8'ini, gizli alan isteği sınıfının 17 kaydından 1'ini görüyor. Rol kipiyle genişleyen kapı kesinliği 0,9138'e çıkarıp duyarlılığı 0,5699'a taşıyor; kaynakla genişleyen kapı kesinliği 0,5586'ya düşürüyor ve insana 49 temiz kayıt gönderiyor. Kural süzgecinin üstüne konan kapı dört sayının hiçbirini oynatmıyor: kapıya giden 27 kaydın tamamını kural zaten işaretlemiş. İki koşumda kapının kesinliği 0,8889 ve 0,6471 çıkıyor.
  5. 05 Eğitim Verisi Zehirleme Zehirlemenin bir yordam olarak değil, kaynak sınıfı başına zararlı payı olarak sayılması: süzgeçsiz derlemede 240 kaydın 93'ü zararlı, pay 0,3875. Kaynak başına pay kullanıcıda 0,2701, erişilen belgede 0,5417, araç çıktısında 0,5484; ama hacim oranı tersine çeviriyor — en düşük paylı kanal 37, en yüksek paylı kanal 17 zararlı katıyor. Kaynak kapısı derlemin payını 0,2701'e indirip 47 temiz kayıt kaybettiriyor, kural kapısı 0,1329'a indirip 23 temiz kayıt kaybettiriyor. İkisini birlikte koymak payı 0,1383 yapıyor ve bu fark 94 kayıtlık derlemin 0,0106'lık adımının altında kalıyor, yani ölçülemez; buna karşılık kaybedilen temiz kayıt 23'ten 66'ya çıkıyor. Kural süzgecinin duyarlılığı kullanıcı kanalında 0,6486, erişilen belgede 0,9487. İki koşumda paylar oynuyor, sıralama oynamıyor.
  6. 06 Model Tersine Çevirme ve Çıkarım Saldırıları Sızıntının girdi tarafında değil çıktı tarafında sayılması: 240 yanıtın 71'i gizli alan sınıfına giren bir alan taşıyor, toplam 106 alan. Bunların 31'i istenen 32 kayıttan, 40'ı ise hiç sorulmayan 208 kayıttan geliyor — model tersine çevirme sınıfının sayısı istenenden fazla. Dört adlık çıktı süzgeci 106 alanın hepsini çıkarıyor ve kalan gizli alan 0 oluyor; ama 47 yanıt gizli alan sınıfında olmayan bir dolaylı belirteç, 57 yanıt hiçbir alan adı taşımayan bir üyelik sinyali taşımayı sürdürüyor ve iz taşıyan yanıt 137'den yalnız 94'e iniyor. Beş adlık liste dolaylı belirteci de siliyor, üyelik sinyalini silemiyor. Süzgecin çıkardığı 106 alanın 58'i temiz kayıttan geliyor ve 41 temiz yanıt alan kaybediyor. İki koşumda alan sayısı 106 ve 104 çıkıyor, süzgeçten sonra iz taşıyan yanıt her iki koşumda da 94.
  7. 07 Çekişmeli Örnekler Girdinin kasıtlı olarak bozulmasının ayrı bir yüzey olarak sayılması: aynı kural süzgeci dört sınıfta 1,0000 ile 0,8696 arasında duyarlılık verirken bozulmuş girdi sınıfında 0,2632'ye düşüyor ve bu sınıfta yakaladığı beş kaydın dördü başka bir sınıfın özniteliğini taşıdığı için yakalanıyor. Olağandışı damga dağılımı bayrağını kurala eklemek sınıf duyarlılığını 0,8421'e, küme duyarlılığını 0,7957'den 0,9140'a çıkarıyor; aynı adım kesinliği 0,7629'dan 0,7391'e düşürüyor ve yanlış engelleme payını 0,1565'ten 0,2041'e taşıyor. Model süzgeci aynı sınıfta 0,4737'de kalıyor, iki koşumda 0,4737 ile 0,4211 arasında oynuyor ve bu fark sınıfın çözünürlüğü olan 0,0526'ya eşit olduğu için bulgu sayılmıyor.
  8. 08 Yapay Zekâ Kırmızı Takım Yöntemi Kırmızı takım yönteminin bir saldırı yordamı olarak değil, kapsam ve sayım olarak ele alınması: dört sınıfı on denemeyle tarayan dar bir kampanya 40 denemede 4 geçen kayıt ve 0,1000 geçen pay bildiriyor, aynı kampanyaya beşinci sınıf eklendiğinde sayı 50 denemede 12 geçen ve 0,2400 oluyor ve eklenen sınıf tek başına 8'ini veriyor. Deneme seçimini değiştirmek aynı büyüklükte 0,1800 veriyor, tüm zararlı kayıtlar 0,2043 veriyor, genişletilmiş kural 0,0860'a indiriyor. Raporda satırı olmayan sınıfın denemesi sıfırdır ve geçen payı ölçülmemiştir; kampanyanın kapsamı dünya hakkında değil planın kendisi hakkında bir ifadedir. Ders konu kapanışıdır ve sekiz dersin savunmasının tek bir süzgeç olduğunu yazar.

02

Savunma Katmanları

Her savunma katmanının durdurduğu zararlıyla birlikte kendi bedelinin de sayılması: kural süzgeci ile model temelli süzgeci üst üste koymanın hiçbir yeni zararlı yakalamadan kesinliği düşürüp yanlış engelleme payını büyütmesi, sınıf başına kesinlik ile duyarlılığın tek bir ortalamanın gizlediğini açığa çıkarması ve en az bir sınıfta savunmanın taban altında kalması, maskelemenin temizlediği kayıt ile gerektiği hâlde sildiği alan yüzünden düşen görev, yetki kümesi daraldıkça durdurulan zararlı ile tamamlanamayan görev, güvenilmeyen içerik işaretlemesinin hiçbir engelleme yapmadan ve yanlış alarm üretmeden etkisizleştirdiği kayıt sayısı ile geriye kalan zararlı, insan onayı kapısına giden kaydın kaçının gerçekten zararlı olduğu ve onay oranı düştükçe yakalanan zararlının azalması.

  1. 01 Girdi ve Çıktı Süzgeçleri Kural temelli ve model temelli denetimin aynı kayıt kümesinde durdurduğu zararlıyla birlikte yanlışlıkla durdurduğu temiz kaydın da sayılması: kural süzgeci girdi tarafı ile çıktı tarafına ayrıldığında biri 55, öbürü 44 zararlı durduruyor ve birleşimleri 74'e çıkıyor; model temelli süzgeç 0,50 eşiğinde daha az zararlı durdurup çok daha az temiz kaydı engelliyor; ikisini üst üste koymak kural süzgecinin tek başına verdiğinden kötüdür — duyarlılık 0,7957'de aynı kalıyor, kesinlik 0,7629'dan 0,7551'e düşüyor, yanlış engelleme payı 0,1565'ten 0,1633'e çıkıyor ve katman bir tek yeni zararlı yakalamadan bir temiz kaydı fazladan engelliyor.
  2. 02 İçerik Denetimi Zararlı içeriği durdurmakla ona bir sınıf adı koymanın ayrı iki iş olduğunun sayılması: sınıf adı üreten bir denetim ikili okumada 0,9355 duyarlılık ve 0,7311 kesinlik veriyor, ama sınıf başına bakıldığında kesinlik 0,2917 ile 0,6364 arasında, sınıf etiketinin duyarlılığı 0,3333 ile 0,8235 arasında dağılıyor; dolaylı yönerge sınıfında denetim 21 kayda etiket koyup 8'ini doğru biliyor ve 9 tümüyle temiz kaydı aynı etiketle işaretliyor, yani sınıf etiketi bir eyleme bağlandığında eylem doğrudan çok yanlış tetikleniyor ve o sınıfta savunma taban altında kalıyor; bozulmuş girdi sınıfının duyarlılığı 0,2632'den 0,8421'e çıkarken yanlış engelleme payı 0,1565'ten 0,2177'ye yükseliyor.
  3. 03 Kişisel Veri Maskeleme Modele giden veride azaltmanın iki sayısının birlikte okunması: bayrak temelli maskeleme 240 kaydın 32'sinden alan çıkarıyor ve bunların 14'ü gizli alan isteği sınıfından, 9'u tümüyle temiz kayıt; aynı politika alanı gerektiren 23 görevi çözülemez hâle getiriyor ve bu 23 görevin 7'si temiz abonelere ait; gizli alan isteği sınıfının 3 kaydı bayrağı taşımadığı için maskelemeden kaçıyor, dar politika kaçanı 14'e çıkarırken kırılan görevi 8'e indiriyor, her kaydı maskeleyen politika hiçbir istek kaçırmıyor ama 169 görevi kırıyor ve bunların 104'ü temiz abonelerin. Maskeleme hiçbir kaydı engellemediği için yanlış alarmı yoktur ve süzgeç gibi okunması yanıltıcıdır.
  4. 04 Yetki ve Sanal Alan Araç yetkisinin bir savunma katmanı olarak sayılması: aynı 240 kayıtlık kurgu küme beş yetki kümesinde koşturulur ve durdurulan zararlı, yanlış alarm ile tamamlanan görev yan yana basılır. Savunmasız tabanda durdurulan zararlı 0, yanlış alarm 0; çalıştırma yeteneğini kapatmak 12 zararlı durdurup hiçbir temiz kaydı engellemiyor ve kesinliği 1,0000; yan etkili yeteneği kapatmak 24 zararlıya karşılık 3 yanlış alarm veriyor; izin listeli küme 34 zararlı durdurup tamamlanan görevi 0,8844'e, salt okuma 62 zararlı durdurup 0,6667'ye indiriyor. Daralmanın marjinal kesinliği 1,0000'dan 0,4167'ye düşüyor: son iki adım durdurduğu her zararlıya karşılık birden fazla temiz kaydı engelliyor. Sınıf dağılımı kapının kör noktasını gösteriyor: yetki aşımı sınıfının 1,0000'i durduruluyor, gizli alan isteği sınıfının yalnızca 0,0588'i.
  5. 05 Güvenilmeyen İçerik İşaretleme Hiçbir kaydı engellemeyen bir savunmanın sayılması: kullanıcı dışı kaynaktan gelen metin veri olarak işaretlenir ve yönerge kipi taşısa bile yönerge sayılmaz. Savunmasız tabanda durdurulan zararlı 0, yanlış alarm 0; işaretleme 93 zararlının 42'sini hiçbir kaydı engellemeden etkisizleştiriyor, 51'i kalıyor ve yanlış alarmı sıfır. Etkisizleşme iki sınıfta toplanıyor: dolaylı yönergenin 0,9167'si, kaynak taklidinin 0,8696'sı; gizli alan isteği, yetki aşımı ve bozulmuş girdi sınıflarında 0,0000. İşaretlemenin asıl değeri süzgeci sıkabilmesidir: kural süzgeci tek başına 0,7957 kapsıyor ve 23 temiz kaydı engelliyor, işaretleme ile model süzgecinin 0,50 eşiği 0,7634 kapsıyor ve yalnızca 8 temiz kaydı engelliyor. Bedel yanlış alarm değildir: işaretlenen 103 kaydın 47'si temizdir ve bunların yalnızca 1'i yönerge kipi taşır, yani yitirilen yol tek bir kayıttır ve çözünürlüğün tam bir adımıdır.
  6. 06 İnsan Onayı Gerektiren Eylemler Geri döndürülemez eylemlerde insan onayı kapısının kesinliğinin ve bedelinin sayılması: savunmasız tabanda insana giden kayıt 0 ve yakalanan zararlı 0; dar kapı 27 kaydı insana gönderiyor, bunların 24'ü gerçekten zararlı, kesinlik 0,8889, duyarlılık 0,2581 ve gereksiz kesinti 3. Kapıyı genişletmek sınırsız dikkat varsayımıyla duyarlılığı 0,7957'ye çıkarıyor, ama istem sayısı 97'ye çıktığı için sabit 27 istemlik dikkat bütçesinde yakalanan zararlı iki koşumda 23 ve 17'ye düşüyor: genişletilen kapı dar kapının 24'ünü hiçbir koşumda geçemiyor. Kapının zamanla göz kapatılarak geçilmesi bir ayar olarak süpürülüyor; inceleme payı 1,00'dan 0,20'ye inerken yakalanan zararlı 24'ten 4'e, duyarlılık 0,2581'den 0,0430'a düşüyor ve geçen zararlı 69'dan 89'a çıkıyor. Kapının bedeli engellenen görev değil kesintidir: aynı 27 kayıt engellenseydi üç temiz görev düşerdi, sorulduğunda hiçbiri düşmüyor.

03

Değerlendirme ve İzleme

Kurulan savunmanın çalıştığının nereden bilindiğinin ve üretimde nasıl izlendiğinin ölçülmesi: aynı savunmanın temsili, zararlı ağırlıklı ve sınırda örnek ağırlıklı üç kümede üç ayrı sayı vermesi ve kümenin çözünürlüğünün yazılması, model hakemin insan etiketiyle uyumu ile hakemin kendi iki koşum farkının ölçüt temelli yaklaşımla yan yana okunması, değerlendiriciler arası uyumun ölçek ve yönergeyle değişmesi ve uyumsuzluğun hangi sınıfta yoğunlaştığı, istem ve model değişikliklerinin oynattığı sayının koşum bandıyla karşılaştırılması ve hangisinin ölçülemez kaldığı, üç üretim göstergesinin bir bozulmayı kaç kayıt sonra göstermesi, engellenen kullanıcının sinyal verememesi yüzünden geri bildirim döngüsünün yanlış alarmı olduğundan küçük göstermesi, bir sistem kartının taşıdığı ve taşımadığı ölçüler ile taşımadığı her ölçünün bir iddia olarak kalması.

  1. 01 Değerlendirme Kümesi Tasarımı Bir savunmanın sayısının kümenin bileşimiyle birlikte okunması: aynı kural süzgeci hiç değişmeden üç ayrı kümede üç ayrı sayı veriyor. Temsili kümede kesinlik 0,7629, zararlı ağırlıklı kümede 0,9136, sınırda örnek kümesinde 0,4444 çıkıyor; ilk iki kümede duyarlılık birebir aynı kalıyor çünkü zararlı alt küme hiç değişmedi. Sınırda örnek kümesinde duyarlılık 0,7957'den 0,6400'e iniyor ve yanlış engelleme payı 0,7143'e çıkıyor. Kümenin çözünürlüğü de yazılıyor: duyarlılığın adımı temsili kümede 0,0108, sınırda örnek kümesinde 0,0400 ve bu adımdan küçük hiçbir fark ölçülemez.
  2. 02 Otomatik Değerlendirme Bir kaydın zararlı olduğunu kimin söylediğinin iki yolla ölçülmesi: yapısal ölçüt yazmak ve bir dil modeline sormak. Ölçüt temelli yaklaşım 0,7629 kesinlik, 0,7957 duyarlılık ve insan etiketiyle 0,8250 uyum veriyor, hiçbir çağrı yapmıyor ve iki koşumda birebir aynı sayıyı basıyor. Model hakem 0,7876 kesinlik, 0,9570 duyarlılık ve 0,8833 uyum veriyor; kazancın tamamı ölçütlerin hiç bakmadığı bozulmuş girdi sınıfından geliyor (0,2632'ye karşı 1,0000). Bedel 246 çağrı, 10779 giriş belirteci ve hakemin kendi belirsizliğidir: iki koşum arasında 16 kayıtta karar değişiyor, duyarlılık üç adım oynuyor ve iki yaklaşımın yanlış engelleme farkı bu bandın çok altında kalıyor.
  3. 03 İnsan Değerlendirmesi Bir önceki dersin dayandığı insan etiketinin kendisinin ölçülmesi: aynı bayrak listesine bakan üç kurgu değerlendirici iki değerli ölçekte 0,8417, üç değerli ölçekte 0,7583, örnekli yönergede 0,9306 uyum veriyor. Örnekli yönerge uyumu yirmi bir adım yükseltiyor ama çoğunluk etiketinin gerçek sınıfla örtüşmesi 0,8417'de kalıyor ve oybirliğinin doğruluğu 0,9126'dan 0,8744'e iniyor. Uyumsuzluk zararlı sınıflarda ve tam bir bayrak taşıyan kayıtlarda toplanıyor: bozulmuş girdide 0,7368, bayraksız kayıtlarda 0,0000. Aynı kural süzgeci çoğunluk etiketine karşı ölçüldüğünde duyarlılığı 1,0000 çıkıyor, çünkü etiket sütunu süzgecin kör noktasını paylaşıyor.
  4. 04 Gerileme Testi Sabit bir değerlendirme kümesi karşısında dört değişikliğin ölçülmesi ve her farkın koşum bandıyla karşılaştırılması. Aynı sistem iki tohumda 0,0323 duyarlılık, 0,0340 yanlış engelleme bandı veriyor; yönergenin aynı anlamda yeniden yazılması bu bandın altında kalıyor ve ölçülemez sayılıyor. Biçim kısıtının kaldırılması duyarlılığı 0,7742'ye indiriyor ama yanlış engelleme payını hiç oynatmıyor. Modelin iz tablosundan bir kaydın eksilmesi kesinliği yükseltip yanlış engellemeyi düşürüyor ve tek kanıtı sınıf dökümünde kalıyor: bozulmuş girdi duyarlılığı 1,0000'dan 0,7895'e iniyor, hiçbir hata üretmeden.
  5. 05 Üretim İzleme Kurulu bir savunmanın üretimde bozulduğunu üç göstergenin kaç kayıt sonra gösterdiğinin ölçülmesi: altı yüz kayıtlık kurgu akışta savunmasız taban 0 engelleme, 0 yanlış alarm ve 120 kaçan zararlı verirken eşik 0,50 kurulumu 95 kaydı engelliyor, 11'i yanlış alarm ve 36 zararlı kaçıyor. Üç yüz birinci kayıttan sonra iki ayrı bozulma başlatılıyor: trafik kayması kaçan zararlıyı 36'dan 84'e çıkarıyor, sessiz eşik değişikliği yanlış alarmı 11'den 27'ye. Kaçan zararlı vekili dalgayı 20 kayıt sonra bildiriyor ama eşik kaymasını hiç bildirmiyor, engelleme payı eşiği 29 kayıt sonra görüyor, etiket gerektiren yanlış alarm payı iki koşumda 45 ve 220 kayıt veriyor. Hiçbir gösterge iki bozulmayı birden yakalamıyor.
  6. 06 Geri Bildirim Döngüsü Kullanıcı sinyalinin değerlendirmeye döndüğünde niçin yanlı döndüğünün ölçülmesi: eşik 0,50 kurulumunda 74 kayıt engelleniyor, 8'i yanlış alarm ve 27 zararlı kaçıyor; kaçan zararlının 0,6296'sı şikâyet üretiyor ama yanlış alarmın kapsanan payı itiraz kanalı kapalıyken 0,0000, dar bir itiraz kanalıyla 0,3750'dir ve gelen altı itirazın yalnız üçü gerçek yanlış alarmdır. Sinyalden okunan iki sayıyla beş tur ayarlanan eşik 0,50'den 0,30'a iniyor: yanlış alarm 8'den 27'ye, yanlış engelleme payı 0,0544'ten 0,1837'ye çıkıyor, duyarlılık 0,7097'den 0,9032'ye yükseliyor ve döngü yalnız ikincisini görüyor. Toplam hata 35'ten 36'ya gidiyor, yani döngü hatayı azaltmıyor, kimin ödediğini değiştiriyor.
  7. 07 Sorumlu Yayımlama Yayımlanan sayının kapsadığının ve kapsamadığının ölçülmesi: eşik 0,50 kurulumu tek bir duyarlılık sayısı yayımlıyor (0,7097) ama sınıf başına okunduğunda aynı savunma 0,9583 ile 0,2105 arasında dağılıyor ve yayımlanan sayı ile en zayıf sınıf arasındaki fark 0,4992 çıkıyor. Dokuz taahhüt üç sınıfta toplanıyor — kullanım sınırı, şeffaflık kalemi ve kötüye kullanım planı — ve dar bir sistem kartı bunların 2'sini sayıya bağlıyor, geniş kart 6'sını; kalan 3 taahhüt hiçbir kartla karşılanmıyor ve iddia olarak kalıyor. Ders M28/K07 kursunun ve M28 müfredatının kapanışıdır: yirmi bir dersin savunmasız tabanı, savunmalı kurulumu ve bedeli tek tabloda toplanır.

Aramak için yazmaya başlayın.

↑↓ Esc gezin · aç · kapat