ETL nedir?

ETL nedir, dağınık veri nasıl tek yerde toplanır?

Mağazanın siparişleri bir sistemde, reklam harcamaları başka bir yerde, pazaryeri satışları ise üçüncü bir panelde durur. Hangi kanalın kâr getirdiğini görmek için bu veriyi bir araya getirmek gerekir. ETL bunu yapar. AWS'nin anlatımında ETL, birden çok kaynaktan gelen veriyi merkezi bir depoya, yani veri ambarına birleştirme sürecidir ve ham veriyi temizlemek ve düzenlemek için iş kurallarını kullanır. Süreç AWS'nin ETL sayfasında (yeni sekmede açılır) ayrıntılı anlatılır.

ETL süreci hangi aşamalardan oluşur?

ETL süreci, adını aşamalarından alır ve her aşama bir öncekinin çıktısını kullanır.

• Extract (alma): veri kaynak sistemlerden çekilir.
• Transform (dönüştürme): veri temizlenir, biçimi ve birimi eşitlenir, kurallar uygulanır.
• Load (yükleme): düzenlenmiş veri hedef sisteme yazılır.

Dönüştürme aşamasında ne yapılır?

Asıl emek dönüştürmededir. Aynı müşteri iki sistemde farklı yazılmış olabilir, tarihler farklı biçimde tutulabilir, tutarlar farklı para birimiyle gelebilir. Bu aşamada kayıtlar eşleştirilir, tekrarlar silinir, eksik alanlar işaretlenir. Dönüştürme kuralları yazılı olmazsa, sonuçların neden değiştiğini sonradan açıklamak zorlaşır.

ETL hataları nasıl yönetilir?

ETL çalışması bir adımda başarısız olursa yarım kalan veri hedefe yazılmamalıdır. Her çalıştırmada alınan, dönüştürülen ve yüklenen kayıt sayısını kaydedin; sayılar tutmuyorsa bir sorun vardır. Başarısız çalışmayı güvenle yeniden başlatabilmek için işlemi aynı veriyle tekrar çalıştırıldığında çift kayıt oluşturmayacak biçimde kurun.

Ne zaman gerekmez?

Yalnızca iki sistem arasında anlık bilgi aktaran basit bir akış için ETL kurmak gereksiz karmaşıklık olabilir. ETL, çok kaynaklı raporlama ve toplu temizlik işlerinde anlam kazanır.

ETL ile gerçek zamanlı aktarım farkı

ETL çoğunlukla zamanlanmış, toplu çalışır. Anlık güncelleme gereken stok gibi veriler için olay tabanlı aktarım daha uygundur; ikisi aynı mağazada birlikte kullanılabilir.

Sıkça yapılan hata, dönüştürme kurallarını aracın içine gömüp belgelememektir. Araç değiştiğinde kuralları yeniden çıkarmak zor olur; kuralları ayrı bir tabloda tutun.

ETL aracı seçerken nelere bakılır?

ETL aracı, veri hacminize ve kaynak sayınıza uygun olmalıdır. Kullandığınız sistemlere hazır bağlantısı olup olmadığına, hataları kayda alıp almadığına ve zamanlanmış çalışmayı destekleyip desteklemediğine bakın. Küçük işletmelerde bir e-tablo ve zamanlanmış bir akış da çoğu zaman yeterlidir. Her çalıştırmanın sonucunu, kaç kaydın alındığını ve kaçının yüklendiğini kayda alın. Hazır veri akışları için Entegrasyon ve Otomasyon Marketi sayfasına bakabilirsiniz.

ETL nerede kullanılır?

• Mağaza, pazaryeri ve reklam verisinin tek raporlama tablosunda toplanması
• Tedarikçi dosyasının temizlenip mağazaya yüklenmesi
• Farklı sistemlerden gelen müşteri kayıtlarının birleştirilmesi
• Günlük satış verisinin veri ambarına aktarılması

ETL hakkında sık sorulanlar