Chunking nedir?
Kısa tanım
Chunking, uzun bir belgeyi yapay zekâ modelinin girdi sınırına sığacak ve aramada ayrı ayrı bulunabilecek daha küçük parçalara (chunk) bölme işlemidir.
Son güncelleme:
Chunking nedir, uzun belge neden parçalanır?
Bir iade politikası, kargo rehberi ve ürün kılavuzundan oluşan yüzlerce sayfalık içeriği olduğu gibi bir modele vermek hem sığmaz hem de verimsizdir. Metni anlamlı parçalara bölüp müşterinin sorusuyla ilgili parçayı bulmak daha iyi sonuç verir. Azure AI Search dokümanı, chunking'in modellerin girdi sınırına uymayı ve kesilme nedeniyle veri kaybını önlemeyi sağladığını, RAG gibi uygulamalarda da yardımcı olduğunu anlatır. Ayrıntılar Microsoft'un chunking sayfasında (yeni sekmede açılır) yer alır.
Chunking yöntemleri nelerdir?
Chunking yöntemleri, metnin nerede bölüneceğine göre ayrılır. Hangisinin seçileceği içeriğin yapısına bağlıdır.
- Sabit uzunluk: metin belirli sayıda sözcük ya da karakterde bölünür.
- Yapıya göre: başlık, paragraf ya da madde sınırlarında bölünür.
- Örtüşmeli: komşu parçalar birkaç cümle ortak taşır, bağlam kopmaz.
- Anlama göre: konu değişen yerlerde bölünür.
Chunk boyutu nasıl belirlenir?
Chunk boyutu, sorulara verilecek yanıtın uzunluğuna yakın seçilir. Çok küçük parça bağlamı koparır; "iade süresi" cümlesi, hangi ürün grubu için geçerli olduğu bilgisinden ayrılırsa yanıltıcı olur. Çok büyük parça ise ilgisiz bilgi taşır ve aramayı bulanıklaştırır. Gerçek müşteri sorularından bir liste hazırlayıp farklı boyutlarla deneyin ve doğru parçanın bulunup bulunmadığına bakın.
Chunking sonrası kalite nasıl ölçülür?
Gerçek müşteri sorularından bir liste hazırlayın ve her soru için doğru bilginin hangi parçada olduğunu işaretleyin. Aramanın bu parçayı ilk birkaç sonuçta getirip getirmediğine bakın. Parçaları değiştirdiğinizde aynı listeyle yeniden ölçün; iyileşme varsa değişiklik işe yaramıştır.
Parçalara hangi bilgiler eklenir?
Her parçaya kaynağın adını, bölüm başlığını ve son güncelleme tarihini ekleyin. Bu bilgiler hem yanıtta kaynak göstermeyi hem de içerik değiştiğinde yalnızca etkilenen parçaları yenilemeyi mümkün kılar. Parçaları bağlamsız bırakmamak için başlıkları parçanın başına taşımak yaygın bir yöntemdir.
Parçalama kurallarını içerik türüne göre ayırmak da yardımcı olur: sık sorulan sorular kısa parçalara, uzun kılavuzlar başlık bazlı parçalara bölünebilir. Tek bir kural bütün içeriğe uymayabilir; farklı türleri ayrı denemek daha iyi sonuç verir.
Chunking'de hangi hatalar sık görülür?
Tabloları ve listeleri ortasından bölmek en sık hatadır; parçanın anlamı yok olur. Başlıkları parçadan ayırmak da bilgiyi bağlamsız bırakır. Bir diğeri, içerik güncellendiğinde parçaları yenilememektir; bot eski politikayı anlatmaya devam eder. Her parçaya kaynağını ve güncelleme tarihini ekleyin. Kendi bilgi kaynaklarınız için doğru kurulumu belirlemek için Üretken Yapay Zeka Danışmanlığı sayfasına bakabilirsiniz.
Chunking nerede kullanılır?
- İade politikası ve kargo rehberinin sohbet botu için parçalara bölünmesi
- Uzun ürün kılavuzunun aranabilir bölümlere ayrılması
- Bilgi bankası makalelerinin vektör aramasına hazırlanması
- Uzun bir sözleşme metninin özetleme için bölümlenmesi
Üretken yapay zekâyı işinize uyarlayın
Bilgi bankası, sohbet botu ve arama uygulamalarında yapay zekâyı doğru kurmak için danışmanlık.
Chunking hakkında sık sorulanlar
Chunking neden gerekir?
Chunk boyutu nasıl seçilir?
Chunking ile RAG arasındaki ilişki nedir?
İlk adımı birlikte atalım
Operasyonunuzdaki elle yürüyen işleri inceleyip ayda kaç saatin sistemle yürüyebileceğini yazılı olarak veriyoruz; teknik bilgi ve taahhüt gerekmez.
- Kredi kartı yok
- 1 iş gününde dönüş
- KVKK uyumlu
- Veriler şifreli bağlantıyla iletilir