Eğitim etkinliği ölçme: yapay zeka eğitiminde neye bakılır?
Yayın: · yapayzeka.org.tr
Kısa yanıt
Yapay zeka eğitiminin etkisi, eğitimden önce ve sonra benzer işlerin nasıl yapıldığına bakılarak ölçülür. Katılımcı memnuniyetini, öğrenilen beceriyi, becerinin işte kullanımını ve ortaya çıkan iş sonucunu ayrı ayrı değerlendirmek gerekir.
Ölçülecek değişikliği eğitimden önce seçmek
Eğitimden sonra ne değişmesini bekliyorsunuz? Çalışanın belgeyi daha az hatayla özetlemesi hedefleniyorsa eğitim sorumlusuyla süreç sahibi, ders başlamadan önce değerlendirilecek iş çıktısı üzerinde anlaşır. Başlangıçta hazırlanan özeti saklamak da bu hazırlığın parçasıdır. Değerlendiriciyi de bu aşamada seçin. İşin kabul koşullarının uygulama dosyasında bulunması gerekir, çünkü başlangıç örneğiyle ortak bir ölçüt yoksa eğitim etkinliği ölçme çalışması oturumun beğenilip beğenilmediğini soran ankete daralabilir.
Ölçüm görevini günlük işe yakın tutmanızı öneriyoruz. Diyelim ki müşteri taleplerini yanıtlayan ekipten verilen belgeye dayalı bir taslak bekliyorsunuz. Eğitim öncesinde hem yanıtı hem de çalışanın yaptığı düzeltmeleri saklayın. Aynı kişiye daha sonra benzer zorlukta görev vermek değişimi tartışmak için dayanak sunar, ama karmaşıklıkları farklı işleri yalnızca tamamlanma süreleriyle kıyaslamak yanıltıcı olabilir.
Kirkpatrick'in dört düzeyi
Kirkpatrick modelinde değerlendirmenin dört düzeyi vardır: tepki, öğrenme, davranış ve sonuç. Tepki, katılımcının eğitimi nasıl değerlendirdiğidir; öğrenme ise kazandığı bilgi ve beceriyi sorgular. Davranış düzeyinde öğrendiğinin işte kullanımına, sonuç düzeyinde kurumun hedeflerine bakılır. Modelin eğitim değerlendirme kitabı, ölçmenin program tasarlanırken düşünülmesini vurgular. Böylece dersin sonuna geldiğinizde geriye dönük kanıt aramak zorunda kalmazsınız.
Bu düzeyleri yapay zeka eğitimine uyarlarken farklı kanıtlar toplamak gerekir. Katılımcının alıştırmayı kendi işiyle ilgili bulması tepki hakkında bilgi verir. Yeni bir örnekte hatayı fark etmesi ise öğrenmeye kanıttır. Aynı kontrolü gerçek görevinde sürdürüp sürdürmediğini iş sırasında gözlemleyin. Oturumdaki başarıyla işteki davranışı ayrı kaydetmek, eğitim sonrası desteğin hangi aşamada gerektiğini anlamanızı kolaylaştırır.
İş sonucunun değerlendirilmesi de açık bir hedef gerektirir. Taslakların daha az düzeltmeyle onaylanması bekleniyorsa onay sürecindeki değişikliği gösterecek veriyi ölçüm planında tanımlayın. Araca giriş sayısı farklı bir soruyu yanıtlar. Düzeylerden birinde kanıt eksikse bu eksiği rapora yazmak gerekir, çünkü başka bir düzeydeki olumlu sonucu onun yerine kullanmak neyin öğrenildiğini ve neyin işte sürdüğünü ayırmayı güçleştirir.
Önceki ve sonraki iş örneğini karşılaştırmak
Karşılaştırma görevlerinde aynı beceriye bakmak gerekir, ama aynı metni tekrarlamak hatırlamayı ölçebilir. Çok farklı metinlerse görevin zorluğunu değiştirir. Bu yüzden belge uzunluğu ve istisna yoğunluğu benzer örnekler hazırlamanızı, değerlendirmeyi yapan süreç sahibinden de kabul edeceği özellikleri önceden yazmasını öneriyoruz. Kaynakta olmayan taahhüt eklememek gibi belirli bir ölçüt, çıktıyı genel olarak iyi yazılmış bulmaktan daha kolay tartışılır.
Süreyi ölçecekseniz başlangıç ve bitişi tanımlayın. Model yanıtı verdiğinde iş henüz kontrol edilmemiş olabilir; bu nedenle kaydı onaylanmış teslimata kadar sürdürmek daha anlamlıdır. Çalışanın kaynak kontrolüne ayırdığı zamanı da görünür tutun. Bir görev çabuk bitmiş görünürken düzeltme başka bir kişiye aktarılmışsa, süre değişiminin hangi aşamadan geldiğini ayrıca incelemek gerekir.
Örnekleri puanlayan kişiler arasında görüş farkı çıkabilir. Bunu azaltmak için önce aynı çıktıyı birlikte değerlendirmeleri ve hangi gerekçeyle kabul ettiklerini konuşmaları yararlı olur. Puan farkının nedeni ölçütün belirsizliğiyse değerlendirme açıklamasını düzeltin. Sadece ortalamayı almak, bir değerlendiricinin kaynak hatasını görmezden geldiğini veya diğerinin farklı bir iş beklediğini anlamanıza yardım etmez.
Geri bildirim verilen örneğin sonraki denemede nasıl ele alındığını da inceleyin. Çalışan önceki hatayı tanıyor ama aynı kontrolü yeni belgeye uygulayamıyorsa hangi koşulun yeterince anlaşılmadığını konuşmak gerekir. Kendi çalışma yolunu anlatmasını isteyin. Son çıktıda görünmeyen bir kararsızlığı veya yardım ihtiyacını bu görüşmede aramak ve alınan notu yeniden çalışılacak görevle birlikte saklamak, sonraki alıştırmayı belirlemek için bir yoldur.
Kullanım verisi ile yönetici gözlemi
Aracın kaç kez açıldığı kullanım hakkında bilgi verir. Hangi işin tamamlandığını ve çıktının doğrulanıp doğrulanmadığını anlamak için giriş kayıtlarının yanında iş örneğine de bakmak gerekir. Çalışana çıktıyı nasıl kullandığını sorun. Örneğin aracı sık açıyor ama taslağı teslim etmiyorsa, kullanım sayısını beceri artışı diye raporlamadan önce hangi aşamada vazgeçtiğini görüşmeniz ve sayının hangi davranışı anlattığını açıklamanız gerekir.
Yönetici gözlemini de somut davranışa bağlayın. Çalışan, belirsiz yanıtı kontrol için getiriyor mu ve uygun olmayan belgeyi paylaşmadan önce soruyor mu? Gözlem notunda bu davranışın hangi görevde görüldüğü yer alabilir. Çalışana böyle bir görev verilmediyse davranışı göstermemesini başarısızlık saymayın. Kullanım fırsatıyla beceriyi ayırmak, özellikle iş hacmi bölümlere göre değiştiğinde değerlendirmeyi daha adil kılar.
NIST'in risk çerçevesi, ölçümlerin kullanım bağlamını ve sistemin sınırlamalarını dikkate alır. Eğitim takibinde bunun karşılığı, kontrol için toplanan örneklerin gerçek işi ne kadar temsil ettiğini sorgulamaktır. Süreç sahibinin seçtiği olağan örneklere zorlanılan bir durumu da eklemeyi öneriyoruz. Değerlendirmede yalnızca kolay dosyalar bulunursa çalışanın başka görevlerdeki eksiklerini görmek zorlaşır ve yeniden çalışılacak içerik gözden kaçabilir.
İş sonucunu eğitime bağlamanın sınırları
Eğitimden sonra iş süresi kısalmışsa başka neyin değiştiğine de bakın. Aynı dönemde kullanılan araç yenilenmiş, iş yükü azalmış veya belge düzeni iyileşmiş olabilir. Bunları kaydetmeden bütün değişimi eğitime bağlamak güçlü bir iddia olur. Benzer bir grubun veya önceki dönemin verisiyle karşılaştırma yapılabiliyorsa koşulları açıklayın; yapılamıyorsa elinizdeki gözlemin hangi yoruma izin verdiğini belirtin.
İlk raporun kısa olması yeterli. Başlangıç görevini ve sonradan incelenen örneği karşılaştırarak farkı açıklayın ve ardından hâlâ destek gereken beceriyi yazın. Bu becerinin işte yeniden denenmesini planlarken eğitim sonrası çalışma düzeni rehberinden yararlanabilirsiniz. Bir sonraki incelemeyi kimin yapacağını ve çalışanların yeni örneği hangi koşullarda hazırlayacağını da rapora ekleyin, çünkü ölçümün devamı için sonucu kullanacak kişinin görevi belli olmalıdır.