Olgunluk puanı hesaplama: ortalama neden yanıltır?
Yayın: · yapayzeka.org.tr
Kısa yanıt
Ortalama puan, bir alandaki düşük değeri başka bir alandaki yüksek değerle telafi ettiği için hazırlık eksiklerini gizleyebilir. Olgunluk puanı hesaplanırken basamakların bağımlılığını ve en zayıf boyutu ayrıca incelemek, uygulanacak işi belirlemeyi kolaylaştırır.
Aynı sayı farklı şirketleri anlatabilir
Hazırlık ölçümünde stratejiye verilen yüksek cevapla veriye erişimdeki eksik aynı ortalamaya girince, sonuç iyi görünse bile erişim sorunu uygulamayı bekletmeye devam edebilir. Hesapta hata bulunmayabilir. Ortalamayı yorumlamak için farklı koşulların birbirini ne ölçüde telafi ettiğine ve bunun uygulama kararını nasıl etkilediğine bakmak gerekir.
Örnek olsun diye altı boyutlu varsayımsal bir değerlendirme düşünelim: beş boyut 80, kalan boyut 20 puan alsın. Eşit ağırlıklı ortalama 70 olur. Bütün boyutları 70 olan başka bir profil de aynı ortalamayı verir, fakat ilk profildeki 20 puanlık alan planlanan uygulamanın ihtiyaç duyduğu bir koşulsa iki şirketin yapacağı ilk iş farklıdır.
İlk profilde düşük puan alan boyutun veri erişimi olduğunu varsayalım. Planlanan iş o veriye dayandığı sürece diğer alanlardaki yüksek puanlar, erişim izni bekleyen kaydı kullanıma uygun hâle getirmez. İkinci profilde bütün boyutlar aynı seviyede olduğundan, yönetici aynı ortalamayı görmesine rağmen farklı bir gelişim sırası seçebilir. Raporun boyut dağılımını da göstermesi bu karar farkını açıklamasına yardım eder.
Puanları birleştirmek bir yöntem tercihidir
OECD ve Avrupa Komisyonu JRC'nin bileşik göstergeler kılavuzuna göre doğrusal toplamada bir göstergedeki kayıp, başka göstergedeki kazançla karşılanabilir. Kılavuz, böyle bir telafinin anlamlı olup olmadığının ölçülen konuya göre değerlendirilmesini ister. Dolayısıyla ortalamanın kullanıldığı her yerde aynı yorum geçerli olmaz.
Şirket hazırlığında veri erişimi gibi bazı ön koşulları ayrıca incelemek gerekir, çünkü araç kullanımında deneyimli bir ekibin bile proje verisine erişim hakkı yoksa uygulamaya başlamak için izin beklenir. Rapor, boyut dağılımını gösterdiğinde ve uygulamanın ön koşulları ayrıca kontrol edildiğinde, yönetici bu ihtiyacın yüksek ortalamanın içinde kaybolup kaybolmadığını görür.
Düşük alana daha fazla ağırlık verildiğinde ortalama aşağı inebilir, fakat yöneticinin hangi eksikle uğraşacağı yine açıklanmalıdır. Bizce raporda hesaplama kuralının yanında kısa bir iş kaydı da bulunmalı. Bu kayıt, ağırlık değişikliğinin çözemediği uygulama sorununu somut iş üzerinden anlatır ve işin neden beklediğini açıklar.
Basamak tavanı bağımlılığı görünür kılar
Sitedeki yöntemde basamak ham puanı boyut puanlarının ortalamasından hesaplanır ve üst basamağa ayrıca tavan uygulanır. Etkin puan, ham puanla alt basamağın etkin puanına 15 eklenerek bulunan sayının küçüğüdür. Böylece yapay zeka hazırlığı ve ajan hazırlığı, altlarındaki temel hesaba katılarak raporlanır.
Yöntem sayfasındaki örnekte dijital temel 35, yapay zeka ham puanı 71 ve ajan ham puanı 44'tür. Yapay zeka etkin puanı 50 ile sınırlanırken ajan etkin puanı 44 olarak kalır. Ajan hesabında esas alınan yapay zeka değeri 50'dir. Bu örneği farklı sayılarla anlatırken alt basamağın ham puanını kullanmak, yöntemin zincirleme sınırını bozacaktır.
Buradaki 15 puan, sitenin pilot puanlama tercihidir. Evrensel bir OECD eşiği değildir. Test bir pilot öz değerlendirme olduğundan, bu sayıya kararınızda ne kadar ağırlık vereceğinizi tartarken hesaplamanın varsayımlarını ve eşiklerin durumunu yöntem açıklamasındaki doğrulama planıyla birlikte incelemek gerekir.
En düşük boyut ile basamak tavanını ayırın
Tavan kuralı basamaklar arasında çalışır. Bir boyutun puanı bütün basamağa aynen verilmediği ve yüksek puanlı diğer boyutlar ortalamayı yukarı çekebildiği için etkin basamak puanından sonra boyut dağılımına da bakmak gerekir. Basamaklar arası bağımlılıkla basamağın içindeki dağılım, raporda ayrı ayrı incelenmelidir.
Kısıtlar teorisi, bir sistemin hedefe ulaşmasını sınırlayan koşula odaklanır. Lean Enterprise Institute'un açıklamasına göre önce kısıt bulunur, ardından diğer çalışmalar bu kısıta göre düzenlenir. Hazırlık değerlendirmesine uyarladığımızda düşük boyut, araştırılacak bir kısıt adayıdır. Sorunun nedenini belirlemek için o puanın günlük işte hangi engele karşılık geldiği de incelenmelidir.
Diyelim ki çalışan yetkinliği en düşük boyut çıktı, ancak seçtiğiniz denemeyi yürütecek ekibin görev becerisi yeterli. Projeyi fiilen bekleten sorun farklı bir sistemden veri alınamaması olabilir. Önceliği belirlerken şirket genelindeki gelişim ihtiyacıyla belirli projenin engelini ayrı kaydetmek gerekir. İkisi için farklı sorumlular ve takvimler seçilebilir.
Kısıt adayını süreç sahibiyle görüşün. Süreç sahibi işi başlatmayı deneyip hangi aşamada beklediğini ve çözümün kimin yetkisinde olduğunu açıklarsa puandaki düşüklükle uygulamadaki engeli birlikte incelemek mümkün olur. Bir eğitim ihtiyacının yanında başka bir ekibin onayı bekleniyorsa yalnızca eğitimi tamamlamak, bekleyen işin kapanması için yeterli olmayacaktır.
İyileşmeyi puandan önce uygulamada arayın
Bir alanın puanını artırmayı hedeflemek, çalışanları forma daha olumlu cevap vermeye yöneltebilir. Oysa süreç belgesinin onaylanması veya erişim izninin netleşmesi gibi çıktılar doğrudan kontrol edilebilir. Yeniden ölçüm öncesinde bu çıktıyı incelemek, cevabın hangi uygulama değişikliğine dayandığını gösterir.
Kişi konuyu daha iyi öğrendiğinde, önceki iyimser yanıtını değiştirip daha düşük puan verebilir. Kapsam aynı kalsa bile cevabın dayanağı değiştiyse bunu doğrudan hazırlığın gerilemesi olarak yorumlamak hatalı olur. Açıklamayı puanın yanında tutun. Bilmiyorum yanıtlarının hangi alanlarda toplandığını da yeniden incelemek, yeni sayıyı eskiyle karşılaştırırken eksik bilgiyi gözden kaçırmanızı önler.
Bir sonraki değerlendirmede üzerinde çalıştığınız boyuta ait tamamlanmış işi inceledikten sonra aynı soruları benzer kapsamla yeniden yanıtlayın. Eski ortalamaya ulaşmayı hedeflemektense, cevabın dayanağını görmek daha açıklayıcıdır. Belirsiz cevapları ve ham puan farklarını yorumlarken karnenin okunması hakkındaki rehbere başvurun. Görüşmenin sonunda açık kalan koşulu o işten sorumlu süreç sahibinin takip kaydına ekleyin.