Hayran kalma, test et

Başarılı bir yapay zekâ yanıtı şaşırtıcı derecede ikna edici gelebilir. Risk de tam burada başlar: Akıcı, hızlı ve makul olduğunda güçlü ilk izlenimi güvenilirlikle kolayca karıştırırız. Yapay zekâyla çalışmak isteyenin daha az hayranlığa, daha çok küçük ve tekrarlanabilir teste ihtiyacı vardır.

Her doğru yanıt iyi bir test değildir

Tek bir örnek, bir Workflow'un kalitesi hakkında neredeyse hiçbir şey söylemez. Görev olağanüstü kolay olmuş olabilir. Eldeki malzeme tesadüfen tam uymuş olabilir. Ya da yanıt ikna edici duyulurken belirleyici bir nokta eksik kalmış olabilir. Test, neyin kullanılabilir sayılacağını önceden belirlediğinde başlar.

Bu, sırf şüphe için şüphe çağrısı değildir. Özenli çalışmanın bir biçimidir. Bir sistemin sihirli olup olmadığını değil, açık koşullar altında sana yararlı biçimde yardımcı olup olmadığını test edersin.

Üç senaryo gerçekte ne olduğunu gösterir

Olumlu senaryo normal durumu anlatır: açık görev, uygun malzeme ve kararlaştırılmış formatta sonuç. Burada işin gerçekten kolaylaşıp kolaylaşmadığını kontrol edersin. İyi sonuç yalnızca uzun ya da zarif değildir; üzerinde anlaşılan amaca hizmet eder.

Olumsuz senaryo sınırı koyar. Temel eksikse, istek belirsizse veya bir iddia desteklenemiyorsa ne olmalıdır? Yararlı bir sistem bu noktada soru sorabilir, belirsizliği işaretleyebilir ya da reddedebilir. Bu hata değildir; çoğu kez sınırın görünür olduğunun işaretidir.

Onarılabilir senaryo bir adım daha ileri gider. Bilerek küçük hata, çelişkili yönerge ya da eksik malzeme verirsin. Sonra yalnızca sorunun fark edilip edilmediğini değil, düzeltme yolunun açık olup olmadığını test edersin: Ne eksik? Ne değişti? İnsan neye karar vermeli?

Kabul ölçütleri kaliteyi görünür kılar

Kabul ölçütü kısa ve gözlemlenebilir bir cümledir. Örneğin: “Yanıt yalnızca verilen malzemede bulunan iddiaları adlandırır.” Ya da: “Bilgi eksik olduğunda önce soru sorar.” Bu cümleler değerlidir; çünkü iki kişi belirsiz bir izlenim üzerine tartışmadan onları kontrol edebilir.

Ölçütleri küçük tut. Üç ila beş açık nokta uzun bir istek listesinden daha yararlıdır. Neyin test edilmediğini de netleştir. Yapılandırılmış özet testi aynı anda yaratıcılığı, tonu, araştırmayı ve hukuki yorumu değerlendirmek zorunda değildir.

Hata günlüğü başarısızlık değildir

Test başarısız olduğunda ilk soru “Yapay zekâ neden kötü?” değildir. Bunun yerine şunu sor: Görev açık mıydı? Malzeme yeterli miydi? Kural anlaşılır mıydı? Ölçüt gerçekten kontrol edilebilir miydi? Çoğu zaman en değerli içgörü yanıtta değil, belirsiz bir devir teslimdedir.

Hataları onarım görevi olarak kaydet. Girdiyi, beklenen davranışı, gerçekleşen davranışı ve sonraki değişikliği yaz. Böylece başarısız deneme, bir şeyin bir kez çalışmadığına dair anı olmak yerine daha iyi bir sisteme dönüşür.

Bir örnek: fatura özeti

Diyelim ki bir asistan gelen faturaları kısa bir listeye özetlemeli: tedarikçi, tutar, vade. Olumlu test ona üç temiz fatura verir. Ölçüt: her satır tam olarak bu üç alanı adlandırır, uydurma değer olmaz.

Olumsuz test ona vade tarihi olmayan bir fatura verir. Güvenli davranış tarih uydurmak değil, alanı „eksik" olarak işaretlemektir. Onarılabilir test tutara bir rakam hatası gömer – ve asistanın tutarsızlığı gizlemek yerine görünür kılıp kılmadığını izlersin.

Ancak bu üç çalıştırma birlikte sana bir şey söyler: İlki görevin normal durumda başarıldığını gösterir. İkincisi sınırın tuttuğunu gösterir. Üçüncüsü bir hatanın insan anına mı dönüştüğünü yoksa sessizce mi kaydığını gösterir. Tek bir zarif çıktı bunların hiçbirini açık etmezdi.

Bir yapay zekâ görevi için test kartı

# TEST KARTI

**Görev**
Yapay zekâ … yapmalı.

**Olumlu senaryo**
Bu malzemeler ve bu soruyla … bekliyorum.

**Olumsuz senaryo**
… eksik veya belirsizse yapay zekâ … yapmalı.

**Onarılabilir senaryo**
Bu bilinçli hatada … yapmalı.

**Kabul ölçütleri**
1. …
2. …
3. …

**Sonraki değişiklik**
Testten sonra … düzenleyeceğim.

En iyi yapay zekâ yanıtı seni en hızlı etkileyen değildir. Sınırlarını bildiğin, hatalarını yorumlayabildiğin ve testten sonra çalışma biçimini bilinçli olarak iyileştirebildiğin yanıttır.

Çalışma kâğıdı: Üç test

Özet, taslak ya da kontrol gibi tekrarlanan bir görev seç. Bir sonraki kullanımdan önce üç kısa senaryo ve üç kabul ölçütü yaz.

Olumlu durumu tanımla. Normal, iyi hazırlanmış isteği anlat. Sonunda somut olarak ne olmalı?

Olumsuz sınırı koy. Temeli eksik ya da belirsiz bir isteği anlat. Hangi güvenli davranışı bekliyorsun?

Onarım ekle. Bilerek küçük çelişki veya boşluk ekle. Bunun görünür ve ele alınabilir olduğunu nasıl anlayacaksın?

Ölçütleri kontrol et. Sonucu yalnızca üç ölçütüne göre değerlendir. Sonra bir sonraki deneme için tek değişiklik yaz.

Bu makalenin iki çalışma malzemesi — konu özeti ve doldurulacak yansıtma alanına sahip çalışma kâğıdı — burada indirilebilir: