Ajanlarda insan onayı: human in the loop nasıl kurulur?
Yayın: · yapayzeka.org.tr
Kısa yanıt
Human in the loop, insanın yapay zeka iş akışında inceleme veya karar için yer aldığı düzendir. İnsan onayı, yanlış işlemin zarar doğuracağı adımdan önce yer alır. Düşük riskli ve geri alınabilir işlerde eşik kuralları veya sonradan örneklem denetimi düşünülebilir; bunlar aynı korumayı sağlamaz.
Eylemden önce durmak gereken yer
Örnek bir destek ajanı müşteriye gönderilecek yanıtı hazırlasın. Çalışan alıcıyı ve içeriği inceleyene kadar gönderim aracı çalışmasın. İş akışındaki onay noktası, metin üretiminden sonra ve dışarıya gönderimden önce yer alır. Metin için önceden alınan genel bir onay, sonradan değişen alıcı listesine gönderim izni olarak kullanılmamalı.
Onay kaydı, çalışanın hangi içeriği veya işlemi kabul ettiğini göstermeli. Örnek gönderim görevinde çalışan belirli bir alıcıyı ve mesajı kabul ettikten sonra ajan yeni bilgi bulup metni değiştiriyorsa, eski onayın yeni metne taşınmasını kabul etmemenizi öneriyoruz. Yeni öneri yeniden incelenir. Bu tasarımda onay, görevin belirsiz bütününe verilen bir izin olarak kullanılmaz; çalışanın gördüğü işlemle sınırlı kalır.
LangGraph'ın tarihli teknik yayını, araç onayı için bekleme ve insan girdisiyle devam etme gibi uygulama olanaklarını anlatıyor. Reddi de sınayın. Örneğin çalışan öneriyi kabul etmediğinde görev yeniden sıraya giriyor veya aynı eylemi başka araçla deniyorsa, akışın duraklatılmasıyla onayın uygulanması arasında sizin çözmeniz gereken bir fark vardır. Kabul testi, reddin ardından yürütmenin gerçekten sona erdiğini de gösterebilir.
Eşik kurallarıyla inceleme kuyruğunu daraltmak
Belirli koşullarda işi insana yönlendiren bir kural, hangi görevlerin insan incelemesi gerektirdiğini belirler. Örneğin test senaryosunda ajan yalnızca kurumda tanımlı iç etiketlerden seçim yapıyor olsun. Yeni etiket gerektiğinde veya talep birden fazla ekibi ilgilendirdiğinde ajan işi süreç sahibine yönlendirsin. Buradaki eşik, kurumun kabul ettiği iş sınırıdır.
Eşiği yalnızca modelin kendine verdiği güven puanına bağlamamanızı öneriyoruz. Örnek bir tasarımda model eşleşmeden emin olduğunu söylese bile müşteri numarası bulunamıyorsa, uygulama bu eksikliği ayrı bir bekleme koşulu olarak ele alsın. İnceleyen kişi nedeni görür. Kaynakların çelişmesi için de ayrı bir bekleme nedeni tanımlandığında ekip, hangi iş kuralının daha çok açıklama istediğini bu kayıtlar üzerinden inceler.
Örneklem denetiminin yetişemeyeceği zararlar
İşlem sonrasında örnekleri incelemek, hatayı gerçekleşmeden durdurma amacı taşımaz. Örnek bir iç sınıflandırma akışında çalışan yanlış etiketi denetimde bulur ve sonraki görevler için kuralı düzeltir. Aynı yöntemin geri çağrılamayan müşteri mesajında kullanıldığını düşünün: inceleme yapılana kadar alıcı mesajı okumuşsa sonradan verilen ret kararı gönderimi önleyemez. Onay türünü seçerken bu zaman farkını hesaba katın.
Bizce denetimi yapan kişi örneklerin nasıl seçildiğini bilmeli. Yalnızca kolay ve tamamlanmış işlerden oluşan bir küme, reddedilen önerilerdeki veya yarıda kalan görevlerdeki sorunu inceleme dışında bırakır. Örneğin tanınmayan bir müşteri türü her seferinde işin durmasına yol açıyorsa, yalnızca tamamlananları okumak bu eksik kuralı göstermeyecektir. Bekleyen işleri de örnekleme katın.
Onay ekranında görünmesi gereken bilgi
İnceleyen kişi yalnızca 'devam edilsin mi' sorusunu görüyorsa işi yeniden araştırmak zorunda kalır. Örnek bir adres değişikliğinde önceki ve önerilen yeni değerle birlikte müşteri talebi ve seçilen sipariş gösterildiğinde, çalışan değişikliğin doğru kayda uygulanıp uygulanmadığını aynı yerde değerlendirebilir. Modelin gerekçesi ek bilgidir. İnceleyen kişi, işlemin dayandığı kaydı da görmeli.
Onay yorgunluğunu kendi denemenizde araştırmak için, çalışanların karar vermeden önce hangi bilgiyi aradığını ve hangi öneri için başka birine danışmak zorunda kaldığını izleyebilirsiniz. Eksik bilgi kuyruğu uzatabilir. Kendi akışınızda gereksiz tekrarları azaltmayı veya benzer işleri ayrı kuyruğa almayı değerlendirebilirsiniz. Yanıt gelmediği için işlemi kabul edilmiş saymak ise onay ihtiyacını karşılamaz.
Görev devri de ekran tasarımına girer. Onay yetkisi olan kişi izinliyken işi alacak çalışanın aynı kaynaklara erişemediği bir senaryoda, kuyruk teknik olarak devredilse bile inceleme tamamlanamaz. Test verisiyle yapılan devir denemesi bu eksikliği gösterebilir. Bekleme sırasında kaynak kayıt değişmişse yeni sorumlu hangi sürüm üzerinde karar vereceğini de görebilmeli.
AB Yasası'ndaki insan gözetiminin kapsamı
AB Yapay Zeka Yasası olarak anılan 2024/1689 sayılı Tüzüğün 14. maddesi, yüksek riskli sistemler için insan gözetimini düzenler. Metin, gözetimin risk ve özerklik düzeyiyle orantılı olmasını; görevlendirilen kişilerin sistemin sınırlarını anlayabilmesini ve otomasyon yanlılığının farkında olmasını ister. Gerektiğinde çıktıyı dikkate almama ve sistemin çalışmasına müdahale edebilme de maddede yer alır.
Bu hükmü bütün şirket ajanlarında her tıklamaya onay zorunluluğu şeklinde okumayın. Kapsam değerlendirmesini kullanımınıza göre yapın; ayrıntı için AB Yasası'nın Türk şirketleri açısından kapsamına bakabilirsiniz. Ajanınız için insan gözetimi yükümlülüğünün geçerli olup olmadığını ve onay düzeninizin bu yükümlülüğe uygunluğunu hukuk danışmanınıza inceletin. Operasyon açısından ise onaylayanın reddetme yetkisini ve durdurma yolunu gerçek bir görev üzerinde sınayın.
Redden sonra işin kime kaldığı
Örneklemde hata bulunduğunda hangi yetkinin gözden geçirileceğini önceden karara bağlamanızı öneriyoruz. Süreç sahibi, bu işlem türünü durdurma veya eylem öncesi onaya dönme kararını üstlenmeli. Geçmiş kayıtların da incelenmesi gerekiyorsa bu işin sorumlusu belirlenmeli ve yeni yetki kapsamı kayda geçirilmeli. Aynı hatanın yinelenmesini önleyecek sorumluya ulaşmayan bir raporla yetinmek, onay tasarımını eksik bırakır.
Reddin ardından iş listesi, görevin kimde kaldığını göstermeli. Örnek bir gönderim taslağı reddedildiğinde müşteri hâlâ yanıt bekliyorsa, sorumlu çalışanı belli olmayan bir durdurma kaydı destek işini tamamlamaz. Süreç sahibiniz bu talebi elle ele alacak ekibi tanımlayabilir. Yeniden hazırlanan yanıt aynı müşteriye ait olsa bile yeni içerik ayrıca incelenir.
Son kabul denemesinde reddedilmiş bir görevi süreç sahibinin ekranından izleyin. Çalışan gerekçesini yazabilmiş ve görev yürütülmeden durmuşsa, devam etmek isteyen yeni sorumlunun ne göreceği de sınanır. Teknik ekip dışında kimsenin kullanamadığı bir durdurma yolu varsa onay görevi devredilmeden önce düzeltilmeli. Denemeyi, süreç sahibinin kendi erişimiyle durdurduğu ve kaydını açabildiği bir görevle tamamlayın.