Token nedir?

Token nedir, kelimeden farkı ne?

Yapay zekada token nedir sorusunun yanıtı: modelin metni okurken kullandığı ölçü birimidir ve kelimeyle birebir örtüşmez. Model metni önce parçalara böler; kısa ve sık geçen bir kelime tek parça olurken uzun ya da ekli bir kelime birkaç parçaya ayrılır, noktalama ve boşluk da sayılır. Anthropic'in sözlüğüne (yeni sekmede açılır) göre bir token Claude için yaklaşık 3,5 İngilizce karaktere karşılık gelir ve bu sayı dile göre değişir. Google'ın Gemini belgesi (yeni sekmede açılır) ise bir token'ı yaklaşık 4 karakter, 100 token'ı yaklaşık 60–80 İngilizce kelime olarak verir. Türkçede bir cümlenin kaç token tuttuğunu ancak sağlayıcının sayma aracı söyler; ekli uzun kelimeler birden çok parçaya bölündüğü için tahmin yerine ölçmek gerekir.

Token neden ücreti belirler?

Dil modeli sağlayıcıları ücreti kelime ya da mesaj başına değil, token başına hesaplar. Google'ın belgesine göre maliyet giriş ve çıktı token sayısına bağlıdır; Anthropic'in belgesine göre bir istekteki her şey sayılır: sistem talimatı, konuşma geçmişi, eklenen belgeler, araç tanımları ve modelin ürettiği yanıt. Her yanıt, kaç token harcandığını kullanım alanında geri bildirir. Bu yüzden bir asistanın faturası, aldığı mesaj sayısından çok her mesajda yeniden gönderilen metnin uzunluğuna bağlıdır.

• Giriş token'ı: modele gönderdiğiniz her şey; talimat, politika metni, geçmiş ve müşterinin mesajı.
• Çıktı token'ı: modelin yazdığı yanıt; uzun yanıt, çok token.
• Önbellekten okunan token: her çağrıda tekrar eden sabit bölüm; indirimli sayılır (cache tokens).

Token sayısı nasıl azaltılır?

Token sayısı dört yerden azalır: sistem talimatını kısaltıp yalnızca gerekli kuralları bırakmak; bütün belgeyi değil, soruyla ilgili bölümü göndermek (RAG); tekrar eden sabit bölümü önbelleğe almak; yanıt uzunluğuna sınır koymak. Beşinci yol, hazır listeden seçim yapan adımları küçük bir modele taşımaktır; bunu LLM API maliyeti düşürme yazısında kontrol listesiyle anlattık. Kazancı görmek için sağlayıcının kullanım raporundaki giriş ve çıktı satırlarını önce ve sonra karşılaştırın.

E-ticarette örnek

WhatsApp'tan gelen soruları yanıtlayan bir müşteri hizmeti asistanı düşünün. Her mesajda modele sistem talimatı, iade politikası, o müşterinin önceki mesajları ve yeni mesajı gider; konuşma uzadıkça giriş token'ı her turda büyür. Müşteriye yazılan yanıt ise çıktı token'ıdır. Aynı mantık toplu ürün açıklaması üretiminde de geçerlidir: ürün başına gönderilen özellik listesi ve yazım kuralları giriş, üretilen açıklama çıktıdır. Hangi akışın ne kadar token harcadığını görmek için ücretsiz sistem analizinden yazabilirsiniz.

Nerede karşınıza çıkar?

• Sağlayıcının kullanım raporundaki giriş ve çıktı token satırları
• Model fiyat listesindeki "milyon token başına" fiyatlar
• Modelin bir seferde işleyebildiği metin sınırı (bağlam penceresi)
• Müşteri asistanına her mesajda yeniden gönderilen talimat ve iade politikası
• Toplu ürün açıklaması üretiminde ürün başına düşen giriş ve çıktı

Token (yapay zeka) hakkında sık sorulanlar