Veri kalitesi her zaman amaca bağlıdır

Veri soyut biçimde iyi ya da kötü değildir. Kalitesi, somut görevi kabul edilebilir riskle destekleyip desteklemediğine bağlıdır.

Bir veri kümesi eksiksiz olduğu hâlde kullanıma uygun olmayabilir. Müşteri listesi bütün kayıtları içerirken eski iletişim bilgileri teslimat hatasına yol açabilir. Katalog güncel olabilir; fakat tutarsız ölçü birimleri miktar karşılaştırmasını güvensiz kılar. Görsel koleksiyon teknik olarak sağlamken gerçek kullanım koşullarını temsil etmeyebilir.

Veri kalitesi tek puan veya kalıcı mühür değildir. Amaçlanan kullanım için uygunluğu açıklar. Aynı veri, kaba eğilim analizi için yeterli; bireysel kredi kararı için uygunsuz ve belirli modelin eğitimi için saptırıcı olabilir.

Temizlikten önce amaç gelir

Ekipler çoğu zaman kopya, eksik alan ve biçim hatasıyla başlar. Bunlar yararlı kontrollerdir; ancak „yeterince iyi"yi tanımlamaz. Önce şu sorular yanıtlanır: Veri hangi görevi destekleyecek? Hangi karar izlenecek? Kim veya ne etkilenecek? Hangi hata geri alınabilir? Hangi sonuç kabul edilemez?

Gayriresmî fikir üretiminde eksik kaynak kabul edilebilir. Otomatik ödeme; benzersiz kimlik, doğru tutar, para birimi ve onay durumu gerektirir. Tıbbi veya işe alımla ilgili kararlar; ilgi, temsil gücü, yanlılık, güncellik ve insan kontrolü açısından çok daha sıkı inceleme ister.

Kalite bir risk kararıdır. Olası zarar büyüdükçe ve düzeltme zorlaştıkça veri, test ve yükseltme yolları daha güçlü olmalıdır.

Kalite boyutları bir seçim menüsüdür

Amaca bağlı profil sonucu etkileyen boyutları seçer:

1 · Doğruluk: Değer ilgili gerçeği yeterince yansıtıyor mu? Doğruluk biçimsel geçerlilikle aynı değildir.

2 · Eksiksizlik: Amaç için gerekli alan, olay ve dönemler var mı?

3 · Güncellik: Toplama zamanı ve geçerlilik dönemi görevle uyumlu mu?

4 · Tutarlılık: Değer, tanım ve birimler sistem içinde ve sistemler arasında uyuşuyor mu?

5 · Benzersizlik: Gerçek varlıklar yanlış birleştirme veya çoğaltma olmadan tanınıyor mu?

6 · Geçerlilik: Tür, biçim, aralık ve kategori kurallara uyuyor mu?

7 · Bütünlük: Anahtar, ilişki ve türetme eksiksiz ve izlenebilir mi?

8 · Temsil gücü ve kapsam: İlgili grup, durum, sınır örneği ve çalışma koşulu yeterince kapsanıyor mu?

9 · Etiket kalitesi: Sınıflar alan bilgisiyle tanımlanmış, tutarlı uygulanmış ve anlaşmazlıklar şeffaf çözülmüş mü?

Hiçbir boyut her durumda baskın değildir. Teslimat adresinde güncellik, tarihsel eksiksizlikten önemli olabilir. Uzun dönem analizinde tarihçe gerekir. Sınıflandırıcı için nadir fakat ağır sonuçlu sınır olayları ortalama hatadan daha önemli olabilir.

Kalite hedefinden sınanabilir kurala

„Veri temiz görünüyor" kontrol değildir. Gereksinim; nüfus, metrik, eşik, ölçüm sıklığı ve tepki belirttiğinde işletilebilir olur.

rule_id: customer-contact-freshness
purpose: service_notification
population: active_customers
dimension: timeliness
metric: share_verified_within_180_days
threshold: ">= 0.97"
severity: high
on_failure: block_automated_dispatch
owner: data_steward_customer

Bu kural neyin ölçüldüğünü, sonucun ne zaman kabul edilemez olduğunu ve sonraki eylemi açıklar. Rapor; ölçüm, eşik, zaman, etkilenen kayıt, sapma ve sorumlu rolü içerir.

Metriklerin paydası ve bağlamı olmalıdır. „Yüzde 95 eksiksiz" sözü; zorunlu alan, nüfus ve dağılım belirtilmezse anlamsızdır. Eksiklerin tamamı küçük fakat ağır etkilenen gruptaysa ortalama gerçek riski gizler.

Ortalamalar kötü veriyi gizleyebilir

Toplu göstergeler önemlidir; ancak yerel hata içlerinde kaybolabilir. Veri ilgili grup, kaynak, dönem, bölge, cihaz veya süreç çeşidine göre ayrı incelenmelidir. Bu ayrımlar kolaylığa göre değil, göreve ve olası zarar biçimine göre seçilir.

Temsil gücü her veri kümesinin nüfusu kusursuz yansıtması demek değildir. Hedef nüfus ve çalışma koşulları belirleyicidir. Nadir güvenlik olaylarını bilinçli olarak fazla örneklemek yararlı olabilir; eğitim dağılımı günlük sıklıktan farklılaşır. Eğitim, kalibrasyon ve değerlendirme bu farkı açıkça hesaba katmalıdır.

Eğitim, test ve bilgi tabanı farklı kontroller ister

Kalitenin amacı yapay zekâ yaşam döngüsünde değişir. Eğitim verisi öğrenilebilir sinyal ve ilgili çeşitlilik ister. Doğrulama verisi model ve eşik seçimini destekler. Test verisi bağımsız değerlendirme sağlamalıdır. Örtüşme veya bilgi sızıntısı sonuçları yapay biçimde yükseltebilir.

Geri getirim ve üretken sistemlerde odak değişir. Bilgi tabanı; geçerli kaynak, kalıcı köken, izin, anlamlı bölümleme ve güncelleme süreci ister. Eksiksizlik her belgeyi yüklemek değil, tanımlı bilgi alanı için gerekli ve izinli kaynakları sağlamaktır.

Sentetik veri de otomatik olarak kaliteli değildir. Kapsamı geliştirebilir veya hassas özgünleri tamamlayabilir; fakat hata, gerçek dışı örüntü veya model yanlılığını çoğaltabilir. Kökeni, üretim yöntemi ve amaca uygunluğu ayrı değerlendirilir.

Yapay zekâ örüntü bulur, gerçeği tanımlamaz

Yapay zekâ aykırı değer işaretleyebilir, kopya önerebilir, birimleri normalleştirebilir, eksik kategori ve olağandışı dağılımı bildirebilir. Bunlar hipotezdir. Aşırı değer sensör hatası ya da nadir gerçek durum olabilir. Benzer adlar aynı veya iki farklı kişiyi gösterebilir.

Her otomatik düzeltme iz bırakmalıdır: özgün değer, öneri, yöntem, model ya da kural sürümü, zaman, gerekçe ve onay. Düşük güven veya ağır sonuç sessizce üzerine yazmak yerine yükseltme gerektirir.

Sağlam mimari tespit, karar ve değişikliği ayırır. Model anomaliyi bulur. Alan kuralı veya sorumlu kişi anlamını belirler. Ancak bundan sonra düzeltilmiş ve sürümlenmiş değer üretilir.

Kalite sürekli bir kontrol döngüsüdür

Temizlenen veri temiz kalmaz. Kaynaklar değişir, süreçler yeni hata üretir, kategoriler yeniden tanımlanır ve gerçek dünya kayar. Kontroller alma, dönüşüm, onay ve kullanım sırasında çalışmalıdır.

Döngü şöyledir: beklentiyi tanımla, ölç, sapmayı incele, nedeni düzelt, etkiyi doğrula ve kuralı güncelle. Her sapma aynı tepkiyi gerektirmez. Kayıt engellenebilir, işaretlenebilir, insan incelemesine alınabilir veya sınırlamayla kullanılabilir.

İyi veri kalitesi kusursuzluk değildir. Gereksinimin gerekçeli, ölçümün tekrarlanabilir, belirsizliğin görünür ve hata sonucunun yönetilebilir olmasıdır. Böylece temizlik tek seferlik teknik işlemden sorumlu sistem yeteneğine dönüşür.

Çalışma kâğıdı: Amaca bağlı kalite profili oluştur

Bir veri kümesi ve somut yapay zekâ ya da analitik kullanım senaryosu seç. En az on gerçek veya gerçekçi kayıtla çalış.

1. Amaç ve kararı tanımla. Sonucu, etkilenen kişi veya süreci ve en kötü makul hata sonucunu açıkla.

2. Nüfusu sınırla. Kapsanması gereken olay, dönem ve çalışma koşullarını belirle.

3. Beş kural yaz. Her kural boyut, nüfus, metrik, eşik, sıklık, tepki ve sorumlu rol içersin.

4. Katmanlı test et. En az iki ilgili alt grubu ayrı incele; sonuçlarını ortalamayla karşılaştır.

5. Yapay zekâ önerisini denetle. Sisteme anomali veya kopya önert. Alan gerekçesi ve kayıt izi olmadan değişiklik kabul etme.

6. Serbest bırakma kararı ver. Her kural için kabul et, sınırlamayla kullan, insan incelemesine gönder veya engelle.

İndirilecek tüm materyaller — konu özeti ve çalışma kâğıdı:

Kapsam: Anılan ISO standartları model ve süreç sunar; bunların kullanılması sertifika iddiası değildir. 10. madde her yapay zekâ uygulamasına genel olarak uygulanmaz. Kalite hedefi, eşik ve denetim yoğunluğu; amaç, risk, etkilenen kişiler ve kullanım bağlamından türetilmelidir.

Kaynaklar ve mesleki kapsam