SÖZLÜKYapay zeka

Cache tokens nedir?

Kısa tanım

Cache tokens; bir dil modeline gönderilen istemin (prompt) her çağrıda tekrar eden bölümünün sağlayıcı tarafında saklanıp sonraki çağrılarda yeniden işlenmeden, indirimli fiyatla sayılan giriş token'larıdır. Token, modelin metni böldüğü kelime parçasıdır.

Son güncelleme:

Nasıl çalışır?

Dil modeli her çağrıda kendisine gönderilen metnin tamamını işler ve bu metin token (modelin metni böldüğü kelime parçası) sayısına göre ücretlendirilir. Bir asistanın sistem talimatı, iade politikası ya da araç listesi her mesajda aynen yeniden gönderilir. Cache tokens bu tekrarı hedefler: sağlayıcı, istemin başındaki sabit bölümü bir kez işleyip saklar; sonraki çağrılarda aynı bölüm önbellekten okunur ve indirimli fiyatla sayılır.

Eşleşme ön ek (prefix) üzerinden yapılır. İstemin başından itibaren birebir aynı olan kısım önbellekten gelir; ilk farklı karakterden sonrası normal fiyatla işlenir. Bu yüzden sabit metin başa, müşteri mesajı ve sipariş bilgisi gibi değişen bilgiler sona konur.

Hangi token türleri vardır?

Dil modeli faturasında görünen token türleri
Tür Ne zaman oluşur? Fiyat düzeyi
Giriş (input) Önbellekte olmayan her metin Normal giriş fiyatı
Önbellek yazma (cache write) Sabit bölüm ilk kez saklanırken Sağlayıcıya göre normal fiyat ya da biraz üstü
Önbellek okuma (cache read) Sabit bölüm yeniden kullanılırken Normal giriş fiyatının çok altında
Çıktı (output) Modelin ürettiği yanıt Önbellekten etkilenmez

Oranlar sağlayıcıya ve modele göre değişir. Anthropic'in belgesine (yeni sekmede açılır) göre önbellekten okunan token normal giriş fiyatının onda biri, önbelleğe yazma ise normal fiyatın 1,25 katıdır; önbellek varsayılan olarak 5 dakika tutulur ve her kullanımda süre yenilenir. OpenAI'ın belgesine (yeni sekmede açılır) göre önbellek desteklenen modellerde kendiliğinden devreye girer ve en az 1.024 token'lık bir istem gerektirir. Güncel oranları ve asgari uzunlukları sağlayıcının fiyat sayfasından doğrulamak gerekir.

İşletmeye ne kazandırır?

Kazanç, tekrar eden bölümün uzunluğuna ve çağrı sıklığına bağlıdır. Uzun bir sistem talimatıyla günde yüzlerce mesaj yanıtlayan bir asistanda giriş maliyetinin büyük kısmı bu sabit bölümden gelir; önbellek bu kısmı indirimli fiyata çeker. Günde birkaç kez çalışan kısa bir istemde ise fark küçüktür. Önbellek yanıt süresini de kısaltır, çünkü sabit bölüm yeniden işlenmez.

Kazancı görmek için sağlayıcının kullanım raporuna bakılır. Çağrıların önbellekten okunan token sayısı sürekli sıfırsa istemin başına tarih ya da kullanıcı adı gibi her seferinde değişen bir bilgi konmuş olabilir; bu durumda eşleşme bozulur ve indirim çalışmaz.

E-ticarette örnek

WhatsApp üzerinden sipariş ve iade sorularını yanıtlayan bir asistan düşünün. Sistem talimatı, iade politikası ve kargo kuralları her mesajda aynen gönderilir; yalnızca müşterinin mesajı ve sipariş bilgisi değişir. Sabit bölüm başa alınıp önbelleğe işaretlendiğinde her mesajda yalnızca değişen kısım normal fiyatla işlenir. Ürün bilgilerini RAG ile ekleyen asistanlarda da sabit kalan belgeler aynı biçimde önbellekten okunur.

Nerede karşınıza çıkar?

  • Müşteri asistanının her mesajda yeniden gönderilen sistem talimatı ve iade politikası
  • Her soruya bağlam olarak eklenen ürün bilgisi ve SSS belgeleri
  • Yapay zeka ajanının uzun araç listesi ve çok adımlı konuşma geçmişi
  • Toplu ürün açıklaması üretiminde her ürün için tekrar eden yazım kuralları
  • Sağlayıcının kullanım raporundaki önbellek okuma ve yazma satırları

Maliyeti düşürme

Her göreve büyük model gerekmez. LLM API maliyetini düşürmek için nereden başlanacağını adım adım yazdık.

LLM API maliyeti yazısını okuyun

Cache tokens hakkında sık sorulanlar

Cache tokens için ayrıca ücret ödenir mi?
Önbellekten okunan token normal giriş fiyatının altında sayılır; asıl kazanç buradadır. Bazı sağlayıcılarda sabit bölümün önbelleğe ilk yazımı normal fiyatın biraz üstünde ücretlendirilir. Oranlar sağlayıcı ve modele göre değişir; güncel değer sağlayıcının fiyat sayfasında yer alır.
Önbellek ne kadar süre tutulur?
Dakikalarla ölçülen kısa bir süre tutulur ve her kullanımda süre yenilenir. Sürekli mesaj alan bir asistanda önbellek kendiliğinden sıcak kalır; uzun aralıklarla çalışan işlerde sabit bölüm yeniden yazılır. Süre ve uzatma seçenekleri sağlayıcıya göre değişir.
Önbellekteki verilerim başka müşterilere görünür mü?
Hayır. Önbellek hesabınıza özeldir; başka bir müşterinin isteği sizin önbelleğinizden okuyamaz. Önbellek model eğitimi için de kullanılmaz, yalnızca aynı istemin yeniden işlenmesini önler.
Önbellek neden çalışmıyor?
İki sık neden vardır. Tekrar eden bölüm sağlayıcının asgari uzunluğunun altındaysa önbelleğe alınmaz ve hata da verilmez. İstemin başına tarih, saat ya da kullanıcı adı gibi her çağrıda değişen bir bilgi konmuşsa eşleşme bozulur. Sabit metni başa, değişen bilgiyi sona almak sorunu çoğunlukla çözer.
ÜCRETSİZ, 1 İŞ GÜNÜ

İlk adımı birlikte atalım

Operasyonunuzdaki elle yürüyen işleri inceleyip ayda kaç saatin sistemle yürüyebileceğini yazılı olarak veriyoruz; teknik bilgi ve taahhüt gerekmez.

Ücretsiz Sistem Analizi Al Kullanım Senaryoları
  • Kredi kartı yok
  • 1 iş gününde dönüş
  • KVKK uyumlu
  • Veriler şifreli bağlantıyla iletilir