Yapay zekada yanlılık nedir, nasıl test edilir?
Yayın: · yapayzeka.org.tr
Kısa yanıt
Yapay zekada yanlılık, veriden, teknik tercihlerden veya kullanım düzeninden doğan sistematik farklılıkların bazı kişilere zarar vermesidir. Testte genel doğruluğun yanında incelenen grupların hata türleri de karşılaştırılır. Sonuçları, kararın etkisini bilen kişiler değerlendirir.
Yanlılık yalnızca eğitim verisinde aranmaz
Yapay zekada yanlılığı test etmek için sistemin hangi grupta ne tür hata yaptığını ve bu hatanın kişiyi nasıl etkilediğini incelemek gerekir. Toplam sonuç yetmez. Bütün kayıtları bir araya getirdiğinizde küçük bir grubun sorunları görünmeyebilir. Grup bazında inceleme, hatanın kimde yoğunlaştığını ortaya çıkarır.
NIST SP 1270'de yanlılığın üç başlığı vardır: sistemik yanlılık, istatistiksel ve hesaplamalı yanlılık ile insan kaynaklı bilişsel yanlılık. İncelemede kurumun geçmiş uygulamalarına bakılır. Teknik tercihler, veri kümesinin dışında kalan örnekler ve çıktıyı okuyan insanın otomatik sonucu sorgulamadan kabul etmesi de araştırılır. Her bulguya aynı çözümü önermek, sorunun hangi aşamada doğduğunu gözden kaçırmaya yol açar.
Diyelim ki bir müşteri talep yönlendirme sistemi kuruluyor. Düzgün yazılmış uzun mesajlar doğru ekibe giderken kısa veya yazım hatalı mesajlar sürekli yanlış kuyruğa düşüyorsa, bütün mesajlardaki ortalama başarı bu sorunu saklayabilir. İnceleme ekibi, hangi yazım biçiminin belirli müşteri gruplarında yoğunlaştığını araştırmalıdır. Baştan neden atamak yerine hata örneklerini görmek daha sağlam bir başlangıçtır.
Test grubunu seçerken işin sonucuna bakın. Örnekteki mesaj yönlendirme hatası için önce dil ve başvuru kanalı gibi ayrımları incelemenizi öneririz. Gerçek kişilere ait hassas bilgileri test amacıyla toplamadan önce hukuki dayanağı ve veri ihtiyacını değerlendirmek gerekir. Kayıt tasarımında veri minimizasyonunu gözetin ve eldeki verinin sınırlarını sonuç kaydında belirtin.
Amazon vakasında geçmiş veri neyi taşıdı?
Reuters'ın 10 Ekim 2018 tarihli haberine göre Amazon'un deneysel işe alım aracı, geçmiş özgeçmişlerden öğrenilen örüntüler nedeniyle kadın adayları dezavantajlı değerlendirdi. Haberde, eğitimde kullanılan geçmiş başvuruların çoğunun erkeklerden geldiği anlatılır. Reuters ayrıca aracın kadınları işaret eden bazı ifadelere olumsuz ağırlık verdiğini aktarır; sorunu tek bir kelimeyi kaldırarak bütünüyle çözmenin güvencesi bulunmuyordu.
Geçmişte kabul edilen kayıtları doğru cevap olarak kullanacaksanız önce bu kararların nasıl verildiğini inceleyin. Hangi etiketin neye dayandığını bilmek gerekir. Modelin eski tercihleri tekrar etmesini başarı sayan bir test, geçmiş kararların adil olup olmadığını araştırmaz. Bu yüzden etiket incelemesi teknik doğruluk hesabından ayrı yürütülür. Süreç sahibi de tartışmalı kararları bu aşamada açıklar.
Şirketinizdeki test toplantısında veri sahibine, "Doğru cevap diye verdiğimiz etiket nasıl oluştu?" sorusunu sorun. Etiketi geçmiş bir çalışanın kararı belirlediyse onun hangi kurallarla karar verdiğini araştırmak ve tartışmalı örnekleri ayırmak gerekir, çünkü önceki kayıtlar ancak neyi temsil ettikleri anlaşıldığında teste dayanak olur. İnceleyicilerin anlaşamadığı örnekleri testin kesin doğru cevabı olarak kullanmadan önce süreç sahibine götürün.
İşe alım iş akışının ayrıntılarını işe alımda yapay zeka rehberinde bulabilirsiniz. Buradaki test mantığı, müşteri talebi yönlendirme veya belge sınıflandırma gibi başka işlere de uyarlanabilir. Bir grupta daha fazla hata bulduğunuzda, o hatanın kişiye getirdiği bekleme veya yanlış işlem yükünü ayrıca araştırın.
Karşılaştırma yapmadan önce hata tanımını belirleyin
İlk testte modelin bir kaydı doğru sınıfa koyup koymadığını kontrol edin. Ardından hata türlerini ayırın. İlgili bir kaydı reddetmekle ilgisiz bir kaydı kabul etmenin etkileri farklıysa, bunları tek puanda toplamak yönetimin hangi sorunu düzeltmesi gerektiğini belirsiz bırakır. Testi tasarlayan kişi, hatanın günlük işte neye dönüştüğünü süreç sahibinden öğrenmelidir.
Grup bazında karşılaştırmada paydanın açık olması gerekir. Her grupta kaç örnek bulunduğunu ve hangi kayıtların inceleme dışında kaldığını yazın. Çok az örneği olan bir grupta görülen fark, daha fazla inceleme gerektirebilir. NIST'in yaklaşımı da teknik ölçümleri sistemin kullanıldığı bağlamla birlikte ele almayı gerektirir.
Eşleştirilmiş örnekler de yararlı bir denemedir. Örnekteki müşteri talebinin içeriğini aynı tutup yalnızca iş kararı için ilgisiz olduğunu düşündüğünüz bir özelliği değiştirin. Sistemin cevabının değişmesi, nedenini araştırmak için bir işarettir. Tek bir çiftte aynı cevabın alınması da sistemin bütün kullanımlarda adil davrandığını kanıtlamaz.
Kurgusal test örnekleriyle gerçek kullanım örneklerini ayrı etiketleyin. Belirli bir varsayımı sınayan eşleştirilmiş çiftlerin yanında gerçek uygulamanın çeşitliliğini taşıyan kayıtlar da bulunsun. Model veya talimat değiştiğinde bu kayıtlarla hem varsayımın sonucunu hem gündelik işteki davranışı yeniden inceleyebilirsiniz. Sürümü kaydetmek de karşılaştırmayı kolaylaştırır. Hangi değişiklikten sonra hangi farkın ortaya çıktığı bilinmezse düzeltmenin etkisi ölçülemez.
Veriyi düzeltmek ve insan incelemesini çalıştırmak
Veride az temsil edilen bir grubu görmek, otomatik olarak o gruba ait her kaydı çoğaltma kararı vermeyi gerektirmez. Önce kayıtların niteliğini ve etiketlerin doğruluğunu inceleyin. Aynı hatalı örnekleri tekrar etmek yeni bilgi eklemez. Ayrıca gerçek kullanımdaki dağılımla test setinin dağılımını birbirine karıştırırsanız ölçtüğünüz başarının neyi anlattığını belirlemek zorlaşır.
İncelemeyi yapan kişiye modelin sonucuyla birlikte dayanak bilgiyi de verin. İnceleyici yalnızca öneriyi onaylayan bir düğme görüyorsa farklı karar verebilmesi için gerekli bağlam eksik kalabilir. Kararı değiştirdiği örnekleri gerekçesiyle kaydetmek sistematik sorunları araştırmayı kolaylaştırır, ancak bu kaydı tutarken gereksiz kişisel ayrıntıları yeniden çoğaltmamaya da dikkat etmek gerekir.
Yanlılık incelemesinde çözülemeyen sorular için kullanım sınırı belirleyin. Örneğin belirli bir mesaj türünde sistemin yalnızca öneri vermesine izin verip yönlendirmeyi çalışana bırakmak, model geliştirilirken uygulanacak bir seçenek olur. Kabul edilecek hatalar konusunda teknik ekiple hizmetin etkisini bilen süreç sahibinin birlikte karar vermesi gerekir. Sınırın neden konduğu kullanım kaydında açıklansın.
Önerimiz, ilk çalışmayı tek bir karar türü üzerinde yürütmenizdir. Hatayı tarif ettikten sonra o hata bakımından farklılaşabilecek örnekleri karşılaştırın. Sonuç kaydında hem bulgunun hem verinin sınırlarının görünmesi gerekir. Bir sonraki incelemeye aynı gruptan farklı kayıtlar eklemek, düzeltmenin yalnızca testteki ifadeye göre yapılıp yapılmadığını anlamayı kolaylaştırır.