ElasticSearch ve Native Script Kullanımı
ElasticSearch gün geçtikçe popülerliğini arttırıyor. Özellikle Apache Solr projesine çok ciddi bir rakip olarak ortaya çıktı ve barındırdığı özellikler sayesinde Solr projesinin de gelişmesini sağladığını söyleyebiliriz. Solr 4.x sürümü ile beraber gelen Cloud özelliklerini ElasticSearch olmasaydı herhalde daha uzun süre kullanamayabilirdik. ElasticSearch birçok yönden Solr’dan farklı. Sıfır konfigürasyon ile kullanmaya başlıyabiliyorsunuz. Ayrıca yeni sunucular ekledikçe […]
Sqoop ile Veritabanı Hadoop Arasında Veri Aktarımı
Hadoop platformunun en büyük özelliklerinden birisi de farklı kaynaklardan farklı formatlarda gelen verilerin saklanması ve analiz edilebilmesini sağlaması. İlişkisel veritabanında saklanan verilerin Hadoop üzerinde efektif biçimde işlenebilmesi için bu verilerin HDFS üzerine aktarılması gerekiyor. Sqoop, ilişkisel veritabanları ile Hadoop arasında veri aktarımı için tasarlanmış bir açık kaynaklı bir araç olarak karşımıza çıkıyor. Zaten ismi de Sql-to-Hadoop kelimelerinden […]
Introduction to MongoDB
Harun Yardımcı’nın hazırladığı MongoDB ile ilgili sunuma buradan ulaşabilirsiniz: Introduction to Mongodb from Harun Yardimci
Pig ve Hive ile Hadoop Üzerinde Veri Analizi
Özgür Yazılım ve Linux Günleri 2013 organizasyonunda yaptığım sunuma buradan ulaşabilirsiniz: Pig ve Hive ile Hadoop üzerinde Veri Analizi from Hakan Ilter Sunumdan bir fotoğraf:
ElasticSearch Solr Karşılaştırması
Bu yazıda Solr gibi Lucene tabanlı bir full text search engine olan ElasticSearch‘ü genel hatlarıyla inceleyeceğiz. Ancak öncelikle popüler bir tartışma olan ElasticSearch mü Solr mı değinelim. Daha önce full text search engine araştırıp Solr’ı seçtiyseniz, konfigurasyon dosyasında boğulmuş, türkçe karakterlerde sıkıntı çekmiş olabilirsiniz. (v 3.6.2’ye kadar) ElasticSearch’de bunların hiçbirini yaşamayacağınızı belirterek öncelikle içinizi rahatlatayım. […]
Hadoop Kitap Önerileri
Hadoop: The Definitive Guide MapReduce, HDFS ve bunların çalışma mantığı, Hadoop’un küme olarak nasıl yapılandırıldığı, bu kümelerin yönetimi ve bakımı, giriş seviyesinde Pig, Hive, HBase konularını işleyen, Hadoop konusunda merak edebileceğiniz tüm temel konuları içeren, başucu eseri diyebileceğimiz 3. baskısını yapan bir kitap. Hadoop Operations Geçtiğimiz yılın sonunda yayınlanan ve Hadoop Definitive Guide’dan sonra yayınlanan […]
Hadoop Sunumu
devveri.com için hazırladığım Hadoop sunumunu paylaşmak istedim. Hadoop @ devveri.com from Hakan Ilter
Apache Pig
Apache Pig, Hadoop üzerindeki verileri işlemek için geliştilmiş, Pig Latin olarak adlandırılan basit bir dile sahip, açık kaynaklı bir projedir. 2006 yılında Yahoo tarafından geliştirilmeye başlanmıştır. MapReduce ile yapmak istediğiniz analizleri Pig ile daha kolay geliştirebilirsiniz. Ayrıca geliştirdiğiniz Pig kodları MapReduce programlarına dönüşmeden önce optimize edildiğinden normalden daha performanslı çalışacaktır. Pig’in en büyük özelliği ise, […]
Apache Hive
Apache Hive projesi SQL benzeri bir arayüz yardımıyla Hadoop üzerinde Java kullanmadan sorgulama ve analiz işlemlerini yapmak amacıyla Facebook tarafından geliştirilmiş, daha sonrasında Apache’ye devredilmiş açık kaynaklı bir projedir. Özellikle Veri Ambarı (Datawarehouse) uygulamalarını Hadoop kümeleri üzerinde geliştirebilmek için Hive projesi birçok firma tarafından kullanılmaktadır. Hive kurulumuna geçmeden önce Hadoop kurulumunun nasıl yapıldığını buradan inceleyebilirsiniz. […]
Hadoop 1.0.3 Kurulumu Adım Adım
Daha önceki yazımızda Cloudera’nın CDH3 sürümü olan Hadoop kurulumundan bahsetmiştik. Bu yazımızda da Apache‘nin son stabil sürümü olan 1.0.3 sürümünü paket kullanmadan elle nasıl kurulduğundan bahsedeceğiz. CDH3 kurulumunda sorun yaşayanlar da bu yazıdan faydalanabilirler. 1. Kurulumun öncesinde sisteminizde yüklü Java olması ve openssh-server ve rsync paketlerinin kurulması gerekiyor. sudo apt-get install ssh sudo apt-get install […]
Hadoop MapReduce Örnek Uygulama
Bu yazımızda Cloudera CDH3 Hadoop Kurulumu yazımızın devamı olarak Hadoop üzerinde Java dili ile örnek bir MapReduce uygulamasının nasıl yazıldığını incelemeye çalışacağız. Hadoop platformu da Java dili ile geliştirildiği için MapReduce uygulamaları da temelde Java ile geliştiriliyor. Ancak Hadoop streaming özelliği sayesinde C, Python gibi dillerin yanı sıra Pig diliyle de yüksek seviyede MapReduce uygulamaları yazmak […]
Apache Cassandra Astyanax
Astyanax, Java ile geliştirilmiş bir Apache Cassandra istemci kütüphanesidir. Netflix tarafından geliştirilmiş ve halen kullanılmaya devam etmektedir. Bu sebeple sık sık yeni geliştirmeler yapılmakta ve problemleri hızlıca çözülmektedir. Astyanax’ın öne çıkan özelliklerini Thrift API’si ile uğraşmadan daha yüksek seviyeden, arayüz (interface) tabanlı, nesne yönelimli tasarıma sahip bir yapı ile Cassandra erişimi, istemci tarafında hata kontrolü ve […]
Cloudera CDH3 Hadoop Kurulumu
Hadoop projesini geliştiren birçok firma mevcut, Cloudera da bunlardan bir tanesi. Bu yazıda Hadoop mimarisini öğrenmek, araştırmalar ve geliştirmeler yapmak amacıyla Cloudera‘nın CDH3 ismiyle yayınladığı Hadoop sürümünü Ubuntu işletim sistemine nasıl kurulacağını anlatmaya çalışacağız. Hadoop dağıtık olmayan (standalone), dağıtık mimariye uygun ancak tek sunucuda çalışan (pseudo distributed) ve dağıtık (distributed) olmak üzere üç farklı modda […]
Apache Cassandra Kurulumu
Bu yazıda Apache Cassandra kurulumundan ve temel bazı araçların kullanımından bahsedeceğiz. Öncelikle Cassandra’yı indirmekle başlayalım, resmi sitesinden en son sürümü indirebilirsiniz. Şu anda en güncel sürüm 1.1.1 olarak görünüyor. Ben bu tip uygulamaları /usr/java ya da /opt dizini altına kurmayı tercih ediyorum. Bu yazıda /usr/java dizinine kuracak şekilde anlatacağım. İndirdiğim apache-cassandra-1.1.1-bin.tar.gz dosyasını /usr/java dizini altına açtıktan […]
Hazelcast – Veri Dağıtım Sanatı
Hazelcast kümeleme ve yüksek ölçeklenebilir bir veri dağıtım platformudur. Bundan daha iyi bir tanım ise sitesinde karşımıza çıkan “The Art of Data Distribution” yani “Veri Dağıtım Sanatı” olabilir, çünkü Hazelcast gerçekten ilham verici bir proje. 2008 yılında Türk yazılımcılar Talip Öztürk ve Fuad Malikov tarafından geliştirilmeye başlanan proje, açık kaynaklı ve ticari sürüm olarak ikiye […]