Apache Pig

Apache Pig, Apache Hadoop üzerinde prosedurel bir data akışı yazmayı sağlayan bir veri
işleme platformudur. Veri kullanıcılarına Hadoop’un güçlü, dağıtık ve esnek yapısına ileri
seviye java kodları yazmadan daha üst bir katmandan erişim imkanı sağlayan bir yapıdır.
Pig’in iki önemli bileşeninden Pig Latin dilini kullanarak kullanıcılar data akışı scriptleri
yazabilirler ve Pig bunları Hadoop üzerinde MapReduce kodlarına çevirerek run eder. Pig’in
en büyük getirisi Java bilmeyen kullanıcılara da Hadoop üzerinde üstseviye prosedurel bir
script dili ile veriye ulaşma ve işleme imkanı vermesi, Map Reduce programları yazmaya
gerek bırakmamasıdır.

Pig, Yahoo bunyesindeki bir geliştirme ekibi tarafından Hadoop üzerinde veri transform ve
analiz işlemlerini yazmayı hızlandırmak amacıyla geliştirildi. Alan Gates’de bu ekibin
üyelerinden biriydi daha sonra kendisi şu anda Hadoop dünyasının önemli katkı veren
şirketlerinden Hortonworks’un kurucularından birisi oldu.

Apache Pig Nerelerde Kullanılır?

●ETL (Extract-Transform-Load) işlemlerinde ve özellikle de ETL’in “T”’si Transform
işlemlerinde kullanılabilir, tabi klasik RDBMS üzerindeki ETL’den farklı bir bakış
gerektirecektir.
●Ham Veri üzerindeki bazı ön araştırma, veri temizliği, analiz, hazırlık işlemlerinde
Doğrusal veya DAG yapısında kompleks veri işleme ve dönüştürme akışlarında
Apache Pig Özellikleri
●Apache Pig bir veri akışı dilidir.
● Bu yüksek seviyeli bir dildir.
●Bir Üyelik işlemi gerçekleştirilmesi Apache Pig oldukça basittir
●SQL konusunda temel bilgilere sahip herhangi acemi programcı ile rahatlıkla
çalışabilir Apache Pig .
●Apache Pig , böylece büyük ölçüde kodlarının uzunluğu azaltılarak, çoklu sorgu yaklaşım
kullanır.
●Derleme gerek yoktur. Yürütme günü, her Apache Pigoperatörü MapReduce iş haline içten
dönüştürülür.

Copy Protected by Chetan's WP-Copyprotect.