Token nedir, dil modeli maliyetini nasıl etkiler?
Yayın: · yapayzeka.org.tr
Kısa yanıt
Token, dil modelinin metni işlerken kullandığı birimdir; bir kelimeye, kelime parçasına veya başka bir metin öğesine karşılık gelebilir. Token sayısı hem modele sığacak içeriği hem de token üzerinden ücretlenen hizmetlerde kullanım giderini etkiler.
Kelime sayısıyla token sayısı farklı ölçülerdir
Token, modelin metni işlerken kullandığı birimdir. Metni bu birimlere ayıran yazılıma tokenlaştırıcı denir. Parçalama düzeni seçilen modele göre değişebilir. Kullanıcı ekranda tek bir kelime görürken sistem onu daha küçük parçalara ayırabilir, bu nedenle belgenin kelime sayısını alıp kullanım giderini doğrudan hesaplamak güvenilir bir yöntem olmaz. Teknik ekipten, değerlendirilen modelin tokenlaştırıcısıyla ölçüm istemek daha açıklayıcıdır.
Toraman ve arkadaşlarının Türkçe üzerine çalışması, karakterden kelime düzeyine uzanan farklı tokenlaştırma yaklaşımlarını karşılaştırır. Bu, tek bir evrensel kelime ve token oranı kullanmamak için bir gerekçedir. Çalışmanın sonuçları belirli deney modellerine aittir. Şirketin satın alacağı hizmet için aynı oranı varsaymak yerine, kullanımda karşılaşılacak metinleri seçip ölçmek gerekir. Kullanılan model sürümü de ölçüm kaydının bir parçasıdır.
Diyelim ki teknik destek ekibi ürün açıklamalarıyla arıza kayıtlarını özetliyor. Ürün kodları ve kısaltmalar, günlük yazışmadan farklı bir metin oluşturur. Deneme dosyalarını sadece kısa e postalardan seçmek bu işi temsil etmeyebilir. Örnek kümesine uzun kayıtları da katın ve her görevin girdi büyüklüğünü ayrı ölçün; ortalama bir belge uzunluğu, kullanımda karşılaşılacak en uzun isteğin sığıp sığmadığını söylemez.
Türkçe için sabit bir çarpan kullanmayın
Türkçede eklerle çok sayıda kelime biçimi kurulması tokenlaştırma kararını etkiler. Toraman ve arkadaşları, biçim bilgisi zengin dillerde farklı yaklaşımların etkisinin değişebildiğini anlatır. Buradan her Türkçe metnin başka bir dildeki karşılığından belirli oranda daha uzun olacağı sonucu çıkmaz. Modelin sözlüğüyle kullanılan metin birlikte belirleyicidir. Bir sağlayıcının İngilizce örnekler için verdiği yaklaşık dönüşümü Türkçe bütçeye doğrudan taşımayın.
İlk ölçümde ekibin gerçekten kullanacağı metin türlerini ayırabilirsiniz, çünkü sözleşme diliyle ürün destek kaydı farklıdır. Aynı örneklerin token sayısını aday modellerin tokenlaştırıcılarıyla ölçüp karşılaştırın. Kullanım hacminin sabit kaldığı bu denemede model değişince token sayısı da değişiyorsa, gider hesabında hangi varsayımın yenilenmesi gerektiği ortaya çıkar. Token miktarının yanında cevap kalitesini de değerlendirin. Daha az birim kullanan bir model iş sahibinin kabul ettiği sonucu veremiyorsa başka bir aday gerekebilir.
Sırf token azaltmak için işi başka bir dile çevirmek de ek bir tasarım kararıdır. Örneğin Türkçe arıza notunu çevirip özetlemek, teknik terimlerin nasıl korunduğunu ayrıca incelemeyi gerektirir. Bizce ilk adım, doğrudan Türkçe kullanımın ölçümüdür. Çeviri düşünülüyorsa çeviri adımının kendi kullanımıyla sonucun doğruluğu birlikte değerlendirilir; gider azalması varsayımı, iş sahibinin anlayamadığı bir çıktı biçimini kabul etmek için yeterli gerekçe oluşturmaz.
Bağlam penceresinde soruya da yer gerekir
Bağlam penceresi, modelin bir isteği işlerken ele alabildiği token alanıdır. Bu alana eklenen belgenin yanı sıra uygulamanın talimatı ve gönderilen konuşma geçmişi de girer. Teknik ekip, yanıt için ayrılacak alanın nasıl yönetildiğini de açıklamalı. OpenAI'nin Kasım 2023 duyurusu, bağlam kapasitesini tokenla ifade eder. Burada ürünlerin kapasitesini sıralamak yerine seçilen uygulamanın bu alanı nasıl kullandığını görmek daha yararlı olur.
Büyük pencere, belgedeki her ayrıntının aynı başarıyla kullanılacağını garanti etmez. Anthropic'in Eylül 2023 tarihli uzun bağlam çalışması, kaynak bilgisini farklı konumlarda sunarak yanıt başarısını sınar ve talimat biçimini değiştirir. Şirketin denemesinde de önemli bilgi belgenin ortasındayken ne olduğunu görmek gerekir. Bir dosyanın sisteme kabul edilmesiyle o dosyadan doğru yanıt alınmasını ayrı kabul koşulları olarak ele alabilirsiniz.
Örnek destek işinde bütün kılavuzu her soruya eklemek yerine RAG ile ilgili belge parçalarını getirmek değerlendirilebilir. Bunun kendi arama ve bakım işi vardır. Seçim yaparken en uzun belgeyi yüklemeyi başarı ölçütü saymayın; soruyu yanıtlamaya yetecek kaynağın modele sunulması ve cevabın o kaynağa uyması üzerinden deneyin. Bağlamı daraltma kararının kaybedilen bilgiye etkisi de denemede görülmeli.
Kullanım giderinde girdi ve çıktıyı ayırın
Token üzerinden ücretlenen hizmette modele gönderilen içerik girdi, modelin ürettiği cevap çıktıdır. OpenAI'nin API duyurusuna göre girdi ve çıktı kullanımı ayrı ücretlendirilir. Şirketin gider hesabına isteklerin kaç kez çalıştığını da katmak gerekir; uzun bir belgeyi tekrar tekrar göndermekle tek sefer özetlemek aynı kullanım değildir. Bu hesap, ürünün kendi ücretlendirme koşullarına göre yapılır. Hizmetlerin ücretlendirme biçimleri farklılık gösterir.
Uzun cevap istemek çıktı kullanımını artırabilir, bu yüzden beklenen cevabın amacını belirlemek gerekir. Bir destek temsilcisi için kısa işlem önerisi yeterliyken otomatik olarak ayrıntılı rapor üretmek gereksiz iş yaratabilir. Kullanıcı cevabı yeniden yazdırıyorsa tekrar isteklerini de ölçün, çünkü ilk yanıtın kullanımıyla görevin tamamlanana kadarki kullanımı farklı sonuç verebilir. Yalnız başarılı tek bir gösterimden aylık toplam çıkarmak bu tekrarı görmez.
İlk ölçüm kaydı nasıl tutulur?
İş sahibinin seçtiği örnek görevleri çalıştırıp girdi ve çıktı kullanımını ayrı kaydedin. Tekrar denemelerini aynı göreve bağlayın. Kullanıcı ilk cevabı reddedip yeniden yazdırdıysa, kabul edilen sonuca ulaşmak için yapılan bütün isteklerin toplamını karşılaştırmaya katmak gerekir; aksi hâlde kısa ama sık düzeltilen cevapların kullanımını eksik görürsünüz. Uzun kaynakları daraltmakla başarısız yanıtları azaltmak farklı işler gerektirir, bu yüzden kullanım artışının nedenini de kayda ekleyin.
Toplam bütçeye bağlantı ve bakım giderleri ayrıca girer. Yapay zeka bütçesi kalemleri yazısı bu kapsamı açıklıyor. Token ölçümünü bütçenin girdisi olarak kullanın. İlk kayıt için temsilî görevlerin kullanılan model sürümüyle birlikte ölçüldüğü ve iş sahibinin kabul durumunu belirttiği bir tablo yeterlidir. Model ya da görev kapsamı değiştiğinde aynı örnekleri yeniden çalıştırıp farkı karşılaştırabilirsiniz.