DevVeri.com

Boğulacaksan büyük veride boğul!

Big Data Teknolojilerine Hızlı Giriş

Özellikle bitirme projesinde Hadoop veya diğer Büyük Veri teknolojilerini kullanmak isteyen ama konu hakkında çok bilgi sahibi olmayan arkadaşlar için faydalı olmasını umduğum linkleri ufak bir yazı ile paylaşmak istedim.

Hadoop’u kurmak yeni başlayanlar için biraz zahmetli olabiliyor. Aşağıdaki tutorial’ı adım adım takip ederseniz sorun çıkmaz:

İsterseniz kurulum yapmak yerine hazır VM imajlarını kullanabilirsiniz, aşağıda Hortonworks veya Cloudera’nınkini bulabilirsiniz:

Ben hiç denemedim ama Docker ile de kurulum yapmadan çalıştırabilirsiniz:

İlla Hadoop kullanmak niyetinde değilseniz Spark kullanmanızı tavsiye ederim. Spark’ı da en rahat Zeppelin ile kullanırsınız:

Eğer bunları da kurmayla ilgili sorun yaşarsanız Spark’ı geliştiren firma Databricks’in cloud çözümü var, öğrenciler için ücretsiz bile olabilir, emin değilim. Zeppelin’e benziyor ve cloud ortamında Spark kullanmanızı sağlıyor:

Bu da olmaz derseniz Amazon Web Servisleri (AWS) üzerinde EMR (Elastic MapReduce) servisi var, bir AWS hesabı açıp orda EMR ayağa kaldırıp Hadoop, Spark vs hepsini kullanabilirsiniz, tabii ücretli. Benzer şekilde Google Cloud da da aynı çözüm var. Öğrenciler için yine ücretsiz kullanım sözkonusu olabilir, emin değilim.

, , , ,

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir