Bir agent'ın ne yaptığı yeniden kurulabilir kalmalıdır

Agent yalnızca ikna edici final raporu yazdığı için kontrol edilebilir olmaz. Gerçek yolunun kaynak, karar, tool ve durum değişimleri üzerinden doğrulanabilir kalması gerekir.

Uzun agentic oturum çoğu zaman rahatlatıcı özetle biter: araştırma tamamlandı, dosyalar güncellendi, testler geçti, sonraki adımlar hazır. Bu raporlar yararlıdır fakat sistemin kendi beyanıdır. Dosya eksik, kaynak yanlış yorumlanmış veya tool beklenmeyen yan etki üretmişken aynı agent düzgün başarı hikâyesi yazabilir.

Sorumlu agentic çalışma bellek ve kapanış metninden fazlasını ister. Yeniden kurulabilir iz gerekir. Başlangıç durumu neydi? Hangi amaç geçerliydi? Hangi kaynak gerçekten okundu? Tool'a hangi parametre gitti? Ne değişti? Hangi kontrol çalıştı? Devamı kim onayladı? Bu sorular sonra yanıtlanabiliyorsa konuşma kontrol edilebilir sürece dönüşür.

Status anlık görüntüdür, kanıt değildir

Açık, tamamlanmış ve blocked işleri gösteren proje tablosu uzun oturumu sabitleyebilir. Geçerli durumu yoğunlaştırır ve handoff'u kolaylaştırır. Fakat genellikle yalnızca sistemin durum hakkında ne iddia ettiğini gösterir; durumun nasıl oluştuğunu açıklamaz.

Yalnız taslak varken görev tamamlandı işaretlenebilir. Agent sadece özeti okuduğu hâlde kaynak incelendi denebilir. Test eski veriyle çalışırken „geçti" yazabilir. Status değerlidir fakat event ve artifact'e bağlanmalıdır.

Güçlü ifade „Görev 17 tamam" değil şudur: „Artifact sürüm 4, A ve B kaynaklarından üretildi; C test seti D revision üzerinde çalıştı; iki kriter geçti, bir istisna kaydedilip E rolü tarafından kabul edildi." Böylece status doğrulanabilir olur.

Observability, audit trail ve provenance farklı soruları yanıtlar

Observability runtime davranışını görünür yapar. Trace bağlı işlemleri, log tekil event'i, metric gecikme veya hata oranı gibi toplamları gösterir. Audit trail onay, erişim, değişiklik, yayın ve istisna gibi kontrol açısından önemli eylemlere odaklanır. Provenance oluşum ve türemeyi açıklar: Hangi input, activity ve sorumlu actor output'u üretti?

Katmanlar birbirini tamamlar. Trace bir arama, üç tool call ve dosya yazımını gösterir. Audit trail yazımın yetkili olduğunu kaydeder. Provenance yeni dosyayı kullanılan kaynak ve dönüşüme bağlar.

Her debug ayrıntısı kalıcı audit trail'e girmez. Her audit event'i tam prompt içeriği istemez. Temiz mimari sinyalleri ayırır, ortak identifier tanımlar ve korelasyona izin verir.

Agentic trace model adından fazlasını ister

Yararlı trace sabit run ID ile başlar, işi span'lere böler. Span planlama, retrieval, tool execution, evaluation veya insan onayını temsil edebilir. Parent-child ilişkisi hangi işlemin hangi alt süreci başlattığını gösterir.

Event en az zaman, actor, task, operation, input reference, output reference, status, süre ve hata taşır. Tool call ayrıca tool version, doğrulanmış parametre, yetki kararı ve yan etki ister. Retrieval query, data-source ID, seçilen belge ve sürümü kaydeder. Evaluation metric, test version, sonuç ve açıklamayı tutar.

OpenTelemetry üretken yapay zekâ için ortak semantic attribute'lar geliştirir. Konvansiyonlar bütün governance problemini çözmez fakat kütüphane ve platformlar arasında ortak dil kurar. Özel alanlar da açık anlam, sabit veri tipi, belgelenmiş scope ve versioning taşımalıdır.

İddia, event ve artifact ayrılmalıdır

Agent sıkça „Dosyayı doğruladım" der. Bu cümle iddiadır. Validation event gerçekten çalışan operasyondur. Test raporu sonuç artifact'idir. Güvenilir izlenebilirlik üçünü birbirine bağlar.

Bu ayrım dilin teknik gerçekliğin yerine geçmesini önler. Yazma işlemi başarısızken model „kaydedildi" diyebilir. Status ancak host yeni durumu gözlemlediğinde ve event veya artifact'i doğruladığında güncellenmelidir.

Önemli iddia da aynı kuralı izler. Öneri evidence card'a bağlanır. Kart kaynak, alıntı veya dataset referansı, tarih, scope ve doğrulamayı içerir. Rapor görünmez model belleğini değil kartı referanslar.

Durum değişimi önce ve sonrayı ister

Salt okuyan agent ile yazan agent aynı riski taşımaz. Dosya, database kaydı, yetki veya dış sistem değişiyorsa audit trail mutation'ı kaydeder: hedef nesne, eski durum veya sürüm, amaçlanan değişiklik, gerçek sonuç ve rollback yolu.

Büyük veya hassas nesne tamamen kopyalanmak zorunda değildir. Sürüm, hash, diff, konum ve korunan metadata yeterli olabilir. Sonradan hangi değişikliğin hangi yetkiyle yapıldığı belirlenebilmelidir.

Geri alınabilir ve geri alınamaz iş farklı gate kullanır. Taslak izole klasörde üretilebilir. Yayın, silme veya işlem checkpoint ister. Onay scope ve süreye bağlanır; A nesnesi için onay sessizce B'yi yetkilendirmez.

Maliyet ve süre davranışın parçasıdır

Agent kalitesi çoğu zaman yalnız final output ile ölçülür. Oysa aynı sonuç on veya on bin çağrıyla üretilebilir. Sınırsız loop, tekrarlanan retrieval ve başarısız tool retry operasyonel hatadır; final metin kullanılabilir olsa bile.

Observability gecikme, model ve tool call, input-output miktarı, cache, retry ve tahmini maliyeti de kaydeder. Değerler adım, görev ve run düzeyinde görülür. Bütçe yalnız rapor sütunu değil, kontrol sınırıdır. Süre, maliyet veya adım limiti aşılırsa run duraklar veya eskale eder.

Toplu metric örüntüyü gösterir: Hangi rol tekrar yapıyor? Gecikme nerede? Hangi tool en çok hata veriyor? Tekil trace daha sonra aykırı olayı açıklar.

Hata nedenini korumalıdır

Hata sonrası başarılı yeniden planlama değerlidir. Fakat başarılı retry ilk hatayı tarihten silmemelidir. Aksi hâlde iyileştirme ve risk analizi için gereken malzeme kaybolur.

Error event kategori, etkilenen adım, input, tool response, görünen yan etki ve seçilen tepkiyi tutar. Timeout, yetki reddi, schema error, boş retrieval, çelişkili kanıt ve uzmanlık belirsizliğini ayırır. „Sorun oldu" teşhis edilemez.

Retry asıl hataya bağlanır. Strateji değişikliği gerekçe taşır. Aynı hata tekrarlanırsa circuit breaker run'ı durdurabilir. Özerk ısrar otomatik zarara dönüşmemelidir.

Tam logging yeni risk yaratabilir

Prompt, tool parametresi ve cevap; kişisel veri, ticari sır, credential veya gizli belge içerebilir. Kör kayıt ikinci hassas database oluşturur ve saldırı yüzeyini büyütür.

Logging veri minimizasyonu izler. Varsayılan kayıt reference, kategori, hash ve gerekli metadata kullanır. Tam içerik yalnız amaç gerektiriyorsa, yetki belirliyse ve erişim sıkıysa tutulur. Secret filtrelenir, hassas alan maskelenir, tenant ayrılır.

Retention katmanlıdır. Debug verisi günler sonra silinebilir; kontrol açısından önemli onay daha uzun gerekebilir. Silme, erişim ve purpose limitation observability verisine de uygulanır. Audit trail sınırsız toplama izni değildir.

Manipülasyon direnci ve sorumluluk

Eylemi yapan agent trail'i sonradan değiştirebiliyorsa audit trail değerini kaybeder. Kritik event append-only saklanır veya hash chain, imza ve versioned write-protected storage ile korunur. Agent event içeriği önerebilir; yetkili kaydı runtime üretir.

Sorumluluk agent, model configuration, skill, tool ve insan rolü için sabit kimlik ister. „Model" çok belirsizdir. Sürüm, configuration, permission context ve çalıştırılan code önemlidir. Multi-agent sistemde her mesaj sender, recipient, task ID ve trust state taşır.

Tamper resistance her log satırının doğru olduğunu kanıtlamaz. Önce kaydın yazıldıktan sonra değişmediğini kanıtlar. Plausibility check ve bağımsız kanıt yine gerekir.

Dashboard başlangıçtır, kontrol değildir

Dashboard status, hata, maliyet ve bekleyen onayı gösterebilir. Yalnız yeşil gösterge sunmamalıdır. Kullanıcı metric'ten trace'e, trace'ten event'e, event'ten artifact veya kaynağa gidebilmelidir.

İyi görünüm belirsizliği ve eksik telemetry'yi gösterir. Instrument edilmemiş tool call başarılı sayılmaz. Trace boşluğu görünür işaretlenir. Kritik süreçte eksik observability kendi başına blocker olabilir.

İnsan karar için hazırlanmış görünüm ister: Ne değişti? Hangi kanıt eksik? Hangi istisna kullanıldı? Devam maliyeti ne? Nasıl rollback yapılır? Raw log teşhis için kalır ama kullanıcı arayüzü sanılmaz.

Evaluation izi kaliteye bağlar

Observability ne olduğunu söyler; evaluation yeterli olup olmadığını değerlendirir. Test sonucu run, artifact version, dataset ve kriteri referanslar. Operasyon hatası yeni evaluation vakasına dönüşür. Yeni agent sürümü saklanan trace veya tekrar üretilebilir senaryoya karşı test edilir.

NIST yaşam döngüsü boyunca risk temelli ölçüm ve müdahaleyi vurgular. Agent için yalnız model cevabı değil, tam trajectory değerlendirilir. Doğru kaynak seçildi mi? Yetki korundu mu? Gereksiz adım önlendi mi? Belirsizlik görüldü mü? Güvenli durdu mu?

Observability böylece öğrenme altyapısına dönüşür. Otomatik gerçek üretmez; ekibin hatayı bulması, kontrolü iyileştirmesi ve regression'ı önlemesi için kanıt sağlar.

Çalışma kâğıdı: Yeniden kurulabilir agent run'ı oluştur

Retrieval, tool ve doğrulama adımı içeren workflow seç.

1. Run ID, task ID, agent kimliği ve artifact sürümünü tanımla.

2. Amaçtan handoff'a trace ve span çiz.

3. Retrieval, tool call, mutation, error, retry, evaluation ve approval event'lerini tanımla.

4. Her önemli iddiayı evidence reference'a bağla.

5. Her durum değişimi için before/after, diff veya hash kaydet.

6. Adım, süre, maliyet ve hata için metric ve budget belirle.

7. Hassas alan, masking, erişim ve retention işaretle.

8. Tool hatası ve log manipülasyonu simüle et; stop, eskalasyon ve rekonstrüksiyonu test et.

İndirilecek tüm materyaller — konu özeti ve çalışma kâğıdı:

Kapsam: Observability, audit trail ve provenance kesişir fakat aynı değildir. Telemetry runtime davranışını görünür yapar; audit trail kontrol açısından önemli event'leri değiştirilemez ve sorumluluğu belirli biçimde kaydeder; provenance artifact ve iddianın nasıl üretildiğini açıklar. Her şeyi loglamak otomatik olarak yararlı veya gizliliğe uygun değildir. İçerik, ayrıntı, erişim ve saklama süresi amaç ile riske göre belirlenmelidir.