SÖZLÜKYapay zeka

Bağlam penceresi nedir?

Kısa tanım

Bağlam penceresi (context window) (context window); bir dil modelinin yanıt üretirken aynı anda görüp kullanabildiği metnin token cinsinden üst sınırıdır. Sistem talimatı, konuşma geçmişi, eklenen belgeler ve modelin ürettiği yanıt bu sınırın içinde sayılır; modelin eğitim verisinden ayrıdır ve çalışma belleği gibi düşünülür.

Son güncelleme:

Bağlam penceresi nedir, modelin bilgisinden farkı ne?

Bağlam penceresi nedir sorusunun kısa yanıtı: modelin o anda masasında duran kâğıtların toplamıdır. Anthropic'in belgesine (yeni sekmede açılır) göre bağlam penceresi, modelin yanıt üretirken başvurabildiği bütün metni kapsar ve modelin eğitildiği veri yığınından ayrıdır; bir "çalışma belleği" gibidir. İstekteki her şey bu pencerede sayılır: sistem talimatı, konuşma geçmişindeki her mesaj, araç sonuçları, eklenen belge ve görseller, araç tanımları ve modelin ürettiği yanıt. Modelin eğitimden gelen genel bilgisi ise pencerenin dışındadır; şirketinize özel bilgi ancak pencereye konursa kullanılır.

Bağlam penceresi dolunca ne olur?

Üç şeyden biri olur. Anthropic'in belgesine göre giriş tek başına sınırı aşarsa API isteği "istem çok uzun" hatasıyla reddeder; sohbet arayüzleri ise en eski mesajları düşürerek yer açar. Üçüncüsü daha sessizdir: aynı belgeye göre pencere dolmaya yaklaştıkça doğruluk ve hatırlama düşer, modelin uzun bağlamın ortasındaki bilgiyi kaçırma riski artar. Çözüm pencereyi doldurmak değil, içine yalnızca gerekli olanı koymaktır: konuşmayı özetlemek, belgenin tamamı yerine ilgili bölümünü getirmek (RAG) ve eski araç sonuçlarını temizlemek.

Büyük bağlam penceresi her zaman daha mı iyi?

Hayır. Daha büyük pencere daha uzun belge ve daha uzun konuşma demektir; ama Anthropic'in belgesi "daha çok bağlam kendiliğinden daha iyi değildir" der. Pencerede duran her token her çağrıda yeniden giriş olarak ücretlendirilir ve yanıt süresini uzatır. Önbellek (cache tokens) sabit bölümün fiyatını düşürür ama pencerede kapladığı yeri değiştirmez. Hangi adımın gerçekten uzun bağlam ve büyük model gerektirdiğini LLM API maliyeti düşürme yazısındaki kontrol listesiyle ayırabilirsiniz.

Dar ve geniş bağlam kullanımının karşılaştırması
Konu Yalnızca gerekli bağlam Pencereyi dolduran bağlam
Doğruluk Model ilgili bilgiyi kolay bulur Ortadaki bilgi gözden kaçabilir
Maliyet Her çağrıda az giriş token'ı Her çağrıda bütün pencere ücretlenir
Yanıt süresi Kısa Uzar
Kurulum İlgili bölümü seçen bir yapı gerekir Belgeyi olduğu gibi eklemek yeter

E-ticarette örnek

Müşteri hizmeti asistanı her mesajda sistem talimatını, iade politikasını, müşterinin önceki mesajlarını ve sipariş bilgisini pencereye alır. Uzun bir şikâyet konuşmasında pencere dolar; eski mesajlar düşerse asistan ilk mesajdaki sipariş numarasını unutabilir. Bu yüzden sipariş numarası ve müşteri bilgisi sistemde tutulur, her turda pencereye yalnızca o anki soruya gereken bölüm eklenir. Fatura ya da katalog gibi uzun belgelerde de belgenin tamamı değil, sorulan ürüne ait bölüm getirilir. Hangi akışınızın pencereyi gereksiz doldurduğunu görmek için ücretsiz sistem analizinden yazabilirsiniz.

Pencerede ne sayılır?

  • Asistanın sistem talimatı ve kuralları
  • Konuşma geçmişindeki bütün mesajlar
  • Soruyla birlikte eklenen belgeler, görseller ve araç sonuçları
  • Ajanın kullanabildiği araçların tanımları
  • Modelin o turda ürettiği yanıt

Pencere büyüdükçe fatura büyür

Hangi adımın büyük model ve uzun bağlam gerektirdiğini, hangisinin küçük bir modelle çözüldüğünü kontrol listesiyle anlattık.

LLM API maliyeti yazısını okuyun

Bağlam penceresi (context window) hakkında sık sorulanlar

Bağlam penceresine sığmayan belgeyi nasıl kullanırım?
Belgeyi bölümlere ayırıp yalnızca soruyla ilgili bölümü pencereye koyarsınız; RAG tam olarak bunu yapar. Çok uzun bir konuşma ya da rapor için önce özet çıkarıp özeti kullanmak da yaygın bir yoldur. Belgeyi olduğu gibi sıkıştırmaya çalışmak hem pahalıdır hem doğruluğu düşürür.
Model önceki konuşmayı kendiliğinden hatırlar mı?
Hayır. Model yalnızca o çağrıda pencereye konan metni görür; önceki mesajları hatırlıyor görünmesi, uygulamanın geçmişi her çağrıda yeniden göndermesindendir. Geçmiş düşürülür ya da özetlenirse model o bilgiyi artık bilmez. Kalıcı bilgi sistemde tutulup gerektiğinde pencereye eklenir.
Bağlam penceresi büyüdükçe ücret artar mı?
Artar. Penceredeki her token her çağrıda giriş olarak ücretlendirilir; uzun konuşmada aynı geçmiş yüzlerce kez yeniden gönderilir. Tekrar eden sabit bölümü önbelleğe almak fiyatı düşürür; geçmişi özetlemek ve yalnızca ilgili belgeyi eklemek ise hem fiyatı hem süreyi azaltır.
ÜCRETSİZ, 1 İŞ GÜNÜ

İlk adımı birlikte atalım

Operasyonunuzdaki elle yürüyen işleri inceleyip ayda kaç saatin sistemle yürüyebileceğini yazılı olarak veriyoruz; teknik bilgi ve taahhüt gerekmez.

Ücretsiz Sistem Analizi Al Kullanım Senaryoları
  • Kredi kartı yok
  • 1 iş gününde dönüş
  • KVKK uyumlu
  • Veriler şifreli bağlantıyla iletilir