Hadoop 2.0 – YARN
Apache Hadoop 2.0 sürümünde alt proje olarak yayınlanan YARN (Yet Another Resource Negotiator) kaynak yönetimi ile veri işleme bileşenlerini ayırıp, mimarideki eksikleri ve yeni ihtiyaçları da gözeterek, Hadoop’un gücünü bir sonraki adıma taşımayı hedefliyor.YARN, bu yeni mimari ile HDFS üzerinde çalışacak MapReduce, HBase, Giraph, Storm gibi uygulamaların temelini oluşturacak. Bu sayede MapReduce’e bağımlı kalmadan diğer yeteneklere de doğal yoldan kullanabilecek. Bu aynı zamanda Hadoop’a interaktif, gerçek zamanlıya yakın çalışma yetenekleri kazandıracak.
YARN ile MapReduce v2 yeteneği gelse de halen MapReduce v1 ile geliştirilmiş uygulamalar geriye uyumlu bir şekilde çalışabilecek.
YARN’ın kaynak yönetimi sayesinde aynı anda birçok uygulama kaynakları önceliklere göre düzgün bir şekilde paylaşarak çalışabilecek. Bu sayede çok daha önemli bir uygulama varsa daha fazla kaynak kullanabilecek, önemsiz işler daha az kaynak kullanacak. Yine bu sayede daha önceki sınır olan 4000’den fazla düğümden oluşan kümeler kurulabilecek, kümelerin yönetimi kolaylaşacak. Ayrıca YARN kaynakları çok daha efektif bir şekilde kullanacak şekilde geliştirildi.
İlk mimaride yer alan JobTracker ve TaskTracker süreçleri YARN ile değişiyor. Yeni mimaride global bir ResourceManager bulunuyor. Bu süreç küme üzerindeki tüm kaynakların paylaşımından sorumlu. Bunun dışında her düğüm üzerinde çalışan bir NodeManager süreci bulunuyor. Bu süreç de her düğüm üzerinde çalışacak uygulamaların ayağa kalkmasından, kaynak yönetiminden, takip edilmesinden ve durumların ResourceManager’a iletilmesinden sorumlu. Yani eskiden JobTracker’ın tek başına yapmaya çalıştığı görev birden çok sürece bölünerek ölçeklendirilmiş.
Bir uygulama başlatıldığı zaman da o uygulamaya ait bir ApplicationMaster süreci başlıyor. Bu süreç ResourceManager üzerinden kaynakları alıp NodeManager üzerinden işin parçalarını yapacak Container süreçlerini çalıştırıyor ve yönetiyor.
YARN hakkında daha fazla bilgi almak için Hortonworks’ün sitesini ziyaret edebilirsiniz.
ElasticSearch ve Native Script Kullanımı Cloudera Impala: Hadoop üzerinde Gerçek Zamanlı Sorgulama