Pilot kullanım henüz kontrollü gerçek dünya testi değildir

Gerçek insan, karar veya sonuç devreye girdiğinde „pilot" kelimesi safety architecture değildir.

Kurumlar pilotu sever; küçük, reversible ve öğrenme odaklı görünür. Limited audience, kısa süre, dashboard ve feedback realistic testing hissi verir. Oysa pilot zaten operation olabilir: İnsan davranışı değişir, çalışan recommendation'a güvenir, data başka system'a akar ve hata gerçek dezavantaj üretir.

Controlled real-world testing doğrulanabilir test architecture ile başlar. Purpose, population, duration, role, safeguard, stop rule, reversal, data use ve evidence tanımlar. „Bir deneyelim" ancak etkili sınırlarla responsible experiment olur.

Dört operating mode ayrılmalıdır

1 · Simulation: Synthetic veya historical case; güncel insan ve process etkilenmez.

2 · Shadow mode: Real input parallel işlenir ama output decision'ı yönetmez.

3 · Controlled real-world test: Output bounded setting içinde action'ı etkileyebilir; özel supervision, consent ve reversal vardır.

4 · Regular operation: System intended workflow ve tam monitoring regime'e geçer.

Shadow mode bile sensitive data işleyebilir. Result plan dışında kullanılır, tutulur veya aktarılırsa test operation'a dönüşür.

Madde 60 dar bir yol kurar

EU AI Act Madde 60, sandbox dışındaki belirli Annex III high-risk system'ların market placement veya putting into service öncesi real-world testing'ini düzenler. Provider tek başına veya deployer ile test yapabilir; Article 5 prohibition ve diğer hukuk geçerliliğini korur.

Submitted plan, market surveillance authority involvement/approval, registration, Union establishment veya representative, third-country safeguard, time limit, vulnerable group protection, role agreement, informed consent, qualified oversight ve effective reversal şartları bulunur.

Her hukuk şartı technical veya organisational control point'e çevrilmelidir.

Plan gerçeklikle executable contract'tır

İyi plan system version, source, population, location, workflow ve decision type tanımlar. Hypothesis, metric, threshold, stop criterion ve normal/failure/extreme case içerir.

„Prioritisation accuracy test edeceğiz" belirsizdir. Güçlü plan gönüllü vaka sayısını, süreyi, independent reference'ı, action öncesi mandatory confirmation'ı ve error ya da group difference threshold aşılırsa automatic pause'u belirtir.

Non-goal da yazılır. Data sessizce staff assessment, model training veya marketing analysis'e gidemez. Negative boundary scope creep'i önler.

Consent checkbox değil process'tir

Madde 61 ilgili durumlarda voluntary, specific, informed ve unambiguous consent ister. Test subject; nature, objective, benefit, risk, duration, condition, right ve withdrawal'ı anlamalıdır. Genel olarak zarar ve gerekçe olmadan çekilebilir, personal data'nın immediate permanent deletion'ını isteyebilir.

Uzun privacy notice tek başına informed choice üretmez. Accessible language/format ve baskısız süreç gerekir. Employment gibi dependency relationship'te gerçek voluntariness özellikle incelenir.

Consent versioned olur. Hangi bilgiye ne zaman onay verildiği, withdrawal'ın data flow'u nasıl durdurduğu ve tamamlanmış activity'nin durumu kaydedilir. Exit, entry kadar güvenilir çalışmalıdır.

Reversal teknik olarak kanıtlanmalıdır

Prediction, recommendation ve decision effective biçimde reversed ve disregarded olabilmelidir. Organisation chart'taki reviewer yetmez.

Qualified person output'u zamanında görmeli, anlamalı, counter-evidence'a erişmeli, ceza olmadan ayrılabilmeli ve downstream action'ı gerçekten durdurmalıdır. Tool-using system transaction boundary, approval gate, checkpoint veya compensating action ister.

Wrong identity, stale data, conflicting evidence, control failure, unauthorised tool use ve processing sırasında withdrawal test edilir. Yalnız interface'i durduran ama background action'ı sürdüren düğme stop değildir.

Oversight capacity ve authority ister

Reviewer expertise, time, training ve decision right'a sahip olmalıdır. Yüzlerce simultaneous case'e bakan veya disagreement uygulayamayan kişi decorative oversight sağlar.

Plan coverage, caseload, escalation, substitution, conflict ve authority tanımlar. Yalnız override rate değil, meaningful error'ın bulunup action'a dönüşmesi ölçülür. Plausible ama deliberately wrong recommendation ile automation bias test edilir.

Vulnerability aktif safeguard gerektirir

Age ve disability özel vulnerability yaratabilir; context, dependency, language ve accessibility başkalarını yaratır. İlk soru inclusion'ın necessary ve proportionate olup olmadığıdır.

Katılım varsa adapted information, accessible interaction, tighter threshold, extra human support ve rapid complaint gerekebilir. Average metric küçük gruptaki systematic harm'ı saklamamalıdır.

Time limit permanent pilotu önler

Test hedef için gerekenden uzun sürmez ve genel olarak altı ayı aşmaz. En fazla altı aylık ek dönem prior notification ve justification ister. Bu target değil maximum'dur.