Big Data Teknolojilerine Hızlı Giriş
Özellikle bitirme projesinde Hadoop veya diğer Büyük Veri teknolojilerini kullanmak isteyen ama konu hakkında çok bilgi sahibi olmayan arkadaşlar için faydalı olmasını umduğum linkleri ufak bir yazı ile paylaşmak istedim.
Hadoop’u kurmak yeni başlayanlar için biraz zahmetli olabiliyor. Aşağıdaki tutorial’ı adım adım takip ederseniz sorun çıkmaz:
İsterseniz kurulum yapmak yerine hazır VM imajlarını kullanabilirsiniz, aşağıda Hortonworks veya Cloudera’nınkini bulabilirsiniz:
- https://www.cloudera.com/downloads/quickstart_vms/5-10.html
- https://hortonworks.com/products/sandbox/
Ben hiç denemedim ama Docker ile de kurulum yapmadan çalıştırabilirsiniz:
İlla Hadoop kullanmak niyetinde değilseniz Spark kullanmanızı tavsiye ederim. Spark’ı da en rahat Zeppelin ile kullanırsınız:
Eğer bunları da kurmayla ilgili sorun yaşarsanız Spark’ı geliştiren firma Databricks’in cloud çözümü var, öğrenciler için ücretsiz bile olabilir, emin değilim. Zeppelin’e benziyor ve cloud ortamında Spark kullanmanızı sağlıyor:
Bu da olmaz derseniz Amazon Web Servisleri (AWS) üzerinde EMR (Elastic MapReduce) servisi var, bir AWS hesabı açıp orda EMR ayağa kaldırıp Hadoop, Spark vs hepsini kullanabilirsiniz, tabii ücretli. Benzer şekilde Google Cloud da da aynı çözüm var. Öğrenciler için yine ücretsiz kullanım sözkonusu olabilir, emin değilim.
Hive Veritabanları Arası Tablo Taşıma Apache Hadoop 3.0
Merhabalar hakan hocam,
Ben bir sistem geliştiriyorum php üzerinde sosyal bir platform ilişkisel çalışıyor çoğunlukla post girilip image vs gibi bilgiler güncelenecek. sql kullanıyorum şuanki sistemde onun üzerinden çalışıyor katman yok arada aynı zamanca cachete yok. sistemin ileriki aşamalarda sorun çıkarmaması adına nasıl adımlar atmalıyım? hangi teknolojiyi önerirsiniz bu durumda? birçok çözüm okudum araştırdım ama seçim konusunda zorlanıyorum teorik aşamada bilgim olduğumdan dolayı uygulandığında nasıl bir sonuç alacağımı bilmiyorum. bu durumu aradan çıkarabilmenin yolu sizin gibi bilgi donanımı tecrübesi yüksek insanlardan yol bilgisi almak olduğunu düşünüyorum. bu konu hakkında bana yardımcı olabilir misiniz?