Inference nedir?
Kısa tanım
Inference, eğitilmiş bir yapay zekâ modelinin yeni bir girdiye uygulanarak yanıt, tahmin ya da sınıflandırma ürettiği çalışma aşamasıdır; Türkçede çıkarım ya da çıkarsama olarak da anılır.
Son güncelleme:
Inference nedir, modeli her kullandığınızda ne olur?
Bir sohbet botuna soru yazdığınızda model yeni bir şey öğrenmez; daha önce öğrendiklerini sorunuza uygular ve yanıt üretir. Bu çalışma aşamasına inference denir. NVIDIA'nın sözlüğü inference'ı, eğitilmiş bir yapay zekâ modelinin yeni veri üzerinde akıl yürüterek ve tahmin yaparak yeni çıktılar ürettiği süreç olarak tanımlar. Tanım NVIDIA'nın inference sayfasında (yeni sekmede açılır) yer alır.
Inference ve eğitim farkı nedir?
Inference ve eğitim farkı, modelin hangi aşamada olduğunda yatar. Eğitimde model çok sayıda örnekten öğrenir; bu uzun sürer, çok kaynak ister ve genellikle model sağlayıcısı tarafından yapılır. Inference'ta ise hazır model yalnızca kullanılır. İşletme olarak sizin günlük işiniz çoğunlukla inference'tır: modele girdi gönderir, yanıt alırsınız.
- Eğitim: veriden öğrenme, nadir ve pahalı.
- İnce ayar: hazır modeli ek veriyle özelleştirme.
- Inference: eğitilmiş modeli yeni girdiyle çalıştırma, her kullanımda.
Inference maliyeti nelere bağlıdır?
Inference maliyeti, çoğu hizmette işlenen girdi ve üretilen çıktı miktarına göre hesaplanır. Uzun talimat, uzun belge ve uzun yanıt maliyeti artırır. Model boyutu da belirleyicidir: büyük model genellikle daha iyi sonuç verir ama daha yavaş ve pahalıdır. Basit işler için küçük bir model yeterli olabilir. Fiyatlar sağlayıcıya göre değiştiği için güncel tarifeye kendi sağlayıcınızdan bakın.
Hız neden önemlidir?
Müşteriyle konuşan bir botta yanıt gecikmesi deneyimi bozar. Toplu işlerde ise toplam süre ve maliyet belirleyicidir. Gecikmeyi etkileyen etkenler arasında model boyutu, girdi uzunluğu, istek yoğunluğu ve sağlayıcının altyapısı bulunur. Yanıtı parça parça göstermek, kullanıcıya bekleme süresini daha kısa hissettirir.
Inference hangi altyapıda çalışır?
Hazır bir model sağlayıcısını API ile kullanıyorsanız inference'ı sağlayıcı yürütür; siz yalnızca istek gönderirsiniz. Kendi sunucunuzda açık bir model çalıştırıyorsanız donanım, kapasite ve bakım sizin sorumluluğunuza geçer. Hangisinin uygun olduğu hacme, gizlilik ihtiyacına ve ekibinizin teknik gücüne bağlıdır. İlk adım olarak hazır API ile deneme yapmak çoğu işletme için mantıklıdır.
Yanıt kalitesi nasıl izlenir?
Her inference çağrısının girdisini, çıktısını ve süresini kaydedin. Kötü çıkan örnekleri toplamak, hem talimatı iyileştirmek hem de modeli değerlendirmek için değerli bir kaynaktır.
Maliyeti ve süreyi nasıl düşürürsünüz?
Talimatı gereksiz uzatmayın, aynı sorulara verilen yanıtları önbelleğe alın ve işin zorluğuna göre model seçin. Yoğun toplu işleri yoğun olmayan saatlere kaydırmak ya da toplu istek seçeneklerini kullanmak da mümkündür. Önce gerçek kullanım hacminizi ölçün; tahmini hacimle plan yapmak yanıltır. Model seçimi ve maliyet dengesi için Üretken Yapay Zeka Danışmanlığı sayfasına bakabilirsiniz.
Inference nerede karşınıza çıkar?
- Müşteri mesajını gönderdiğinizde modelin yanıt üretmesi
- Ürün başlığı için model çağrısı yapıldığında harcanan süre ve maliyet
- Görselin bir modele gönderilip etiketlenmesi
- Sınıflandırma modelinin gelen e-postayı kategoriye atması
Üretken yapay zekâyı işinize uyarlayın
Model seçimi, maliyet ve hız dengesi için üretken yapay zekâ danışmanlığı.
Inference hakkında sık sorulanlar
Inference ile eğitim arasındaki fark nedir?
Inference maliyeti nelere bağlıdır?
Inference süresi nasıl kısaltılır?
İlk adımı birlikte atalım
Operasyonunuzdaki elle yürüyen işleri inceleyip ayda kaç saatin sistemle yürüyebileceğini yazılı olarak veriyoruz; teknik bilgi ve taahhüt gerekmez.
- Kredi kartı yok
- 1 iş gününde dönüş
- KVKK uyumlu
- Veriler şifreli bağlantıyla iletilir