MongoDB Replica Set Kullanımı
MongoDB, şüphesiz son 5 yılın en iyi NoSQL veritabanı çözümlerinden bir tanesi. Foursquare gibi büyük firmalar tarafında kullanıldığı öğrenilince, insanlar kendi sistemlerinde ciddi veri saklama çözümleri için bir heyecanla MongoDB kullanmaya çalışıyor. Evet MongoDB bir çok alanda veri saklama işinde çok yararlı olabilir, ama inanın yanlış kullanıldığı takdirde sizin bir numaralı kabusunuz da olabilir…. MongoDB […]
Pig üzerinden Hadoop ile MongoDB Entegrasyonu
Açık kaynaklı büyük veri teknolojilerinin en beğendiğim özelliği, birden fazla projeyi birlikte kullanabilmek. Bu sayede, farklı projelerin güçlü olduğu taraflardan faydalanarak ortaya daha büyük bir değer çıkartmak mümkün oluyor. Bu yazıda MongoDB ile Hadoop‘u Pig üzerinden entegre ederek nasıl kullanabileceğimize bir örnek vermeye çalışacağız. Hazırlık MongoDB’nin geliştirdiği connector sayesinde, MongoDB’deki verileri Hadoop üzerine taşımak ya da […]
Introduction to MongoDB
Harun Yardımcı’nın hazırladığı MongoDB ile ilgili sunuma buradan ulaşabilirsiniz: Introduction to Mongodb from Harun Yardimci
MongoDB ile MapReduce Kullanımı
MongoDB document-oriented mimariye sahip NoSQL veritabanıdır. MongoDB üzerinde bildiğimiz klasik veritabanlarındaki gibi tablo yapısına sahip değil. Verilerimizi BSON(Binary JSON) şeklinde tutuyor. Tablo yapısı yok onun yerine collectionlar mevcut. (bkz: MongoDB NoSQL Veritabanı) MongoDB üzerinde MapReduce işlemleri javascript ile yapılmaktadır. Klasik veritabanlarındaki count, sum, having gibi işlemleri yapmak için MongoDB üzerinde MapReduce kullanıyoruz. (bkz: MapReduce Nedir?) Örnek product collectionında bulunan verilerim aşağıdaki […]
Java JPA ile MongoDB Kullanımı
Java ile MongoDB’yi kullanmak için bir çok yöntem mevcut, bunlardan birisi JPA üzerinden erişim. Hali hazırda JPA kullanıyorsanız veya NoSQL konusunda yeniyseniz bu yöntemi tercih edebilirsiniz. MongoDB’nin JPA erişimini Datanucleus kütüphaneleri üzerinden kullanıyoruz. Datanucleus ismini özellikle GAE (Google App Engine) üzerinde uygulama geliştirenler bileceklerdir, GAE üzerinde veritabanı olarak Big Table kullanılıyor ve erişim de JPA […]
MongoDB NoSQL Veritabanı
MongoDB döküman tabanlı bir NoSQL veritabanı sistemidir (bkz: NoSQL nedir?). MongoDB yapısal verileri JSON benzeri dökümanlarlarda (BSON = Binary JSON) tutar. Her türlü sorgulama ve yönetim işleri JavaScript formatında yapılır. MongoDB 2007 yılında 10gen firması tarafından geliştirilmeye başlandı. Şu anda 2.0.5 sürümüyle oldukça stabil hale gelmiş durumda ve foursquare, Craigslist, MTV Networks gibi birçok büyük firma tarafından ciddi şekilde […]
MongoDB’de Sharding
Sharding, büyük miktarda veriyi yönetebilmek amacıyla parçalara ayırmak ve bu parçalar üzerinden kullanmak diyebiliriz. MongoDB’nin güzel özelliklerinden birisi de sharding kabiliyeti. MongoDB’de shard yapabilmek için mongos, config server ve shard’lara ihtiyaç vardır. Shards İçinde datayı barındıran mongod processleridir. Mongos’un yönlendirmesi ile datalar farklı shardlara bölünür ve chunklar şeklinde herbir shard’da farklı datalar bulunur. Mongos Mongos, […]
Veri analizinde yeni alışkanlıklar
Veri işlemede kullanılan alet ve yöntemler baş döndürücü bir hızla gelişip değişiyor. Bunun sonucu olarak, eski adet ve alışkanlıklar ile devam ettirmeye çalıştığımız iş süreçlerinde çıkan sıkıntılar ve çıkmazlar sıradanlaştı. Bu yazıda, özellikle veri analizi konusunda çıkan sıkıntıları aşmak için alet kutumuza girmesi gerekli olan göreceli yeni üç aletten; data notebooks ve polyglot dillerden ve […]
NoSQL’in Kısa Tarihi
1 NoSQL’in kısa tarihi 1.1 Eski Güzel Günlerin Bitişi Eskilerin geçmişi “ah o eski güzel günler” diye andığını ve yeniler için ise “o eski güzel günlerin” henüz gelmediğini bilerek yaşadığımızda, her yeni oluşumun kendine has güzellikleri ile geldiğini de bilmeliyiz. Bilgi teknolojileri dünyasının eski güzel günlerinde, eldeki problemin çözümü için gerekli olanlar az sayıda seçenek […]
ElasticSearch ve Pig Entegrasyonu
Pig ile sadece Hadoop üzerindeki verileri değil, MongoDB gibi farklı veri kaynaklarını da analiz edebileceğimizden bir yazımızda bahsetmiştik. Pig ile ElasticSearch üzerindeki verileri de analiz etmemiz mümkün. Aynı şekilde Hadoop üzerindeki verileri Pig aracılığı ile ElasticSearch üzerinde kolayca indekslemeniz ve analizler yapmanız oldukça kolay. Hazırlık Pig ile ElasticSearch entegrasyonu ile ilgili projeye GitHub üzerinden erişmeniz mümkün. Proje ile sadece […]
Apache Pig
Apache Pig, Hadoop üzerindeki verileri işlemek için geliştilmiş, Pig Latin olarak adlandırılan basit bir dile sahip, açık kaynaklı bir projedir. 2006 yılında Yahoo tarafından geliştirilmeye başlanmıştır. MapReduce ile yapmak istediğiniz analizleri Pig ile daha kolay geliştirebilirsiniz. Ayrıca geliştirdiğiniz Pig kodları MapReduce programlarına dönüşmeden önce optimize edildiğinden normalden daha performanslı çalışacaktır. Pig’in en büyük özelliği ise, […]
Apache Hive
Apache Hive projesi SQL benzeri bir arayüz yardımıyla Hadoop üzerinde Java kullanmadan sorgulama ve analiz işlemlerini yapmak amacıyla Facebook tarafından geliştirilmiş, daha sonrasında Apache’ye devredilmiş açık kaynaklı bir projedir. Özellikle Veri Ambarı (Datawarehouse) uygulamalarını Hadoop kümeleri üzerinde geliştirebilmek için Hive projesi birçok firma tarafından kullanılmaktadır. Hive kurulumuna geçmeden önce Hadoop kurulumunun nasıl yapıldığını buradan inceleyebilirsiniz. […]
Apache Cassandra JDBC Bağlantısı
Apache Cassandra projesi en çok ismini duyuran NoSQL projelerinden birisi. Lakin özgün yapısından dolayı çoğu kişi tarafından (ben dahil) güçlükle anlaşılıyor. MongoDB‘nin kurulum, kullanım kolaylığı ile kıyaslama yapacak olursak böyle düşünmek çok olası. Bundan olsa gerek, Cassandra projesini geliştirenler son birkaç sürüm önce SQL benzeri CQL dilini projeye dahil ettiler. Bu sayede kullanıcılar aşina oldukları […]
Big Data
“Big Data” yani Türkçesi “Büyük Veri” (biz Dev Veri diyoruz), tanımı sadece “diskte çok fazla yer kaplayan veri” anlamına değil, aynı zamanda geleneksel yöntem ve araçlarla işlenemeyen veri anlamına da geliyor.Teknolojinin ilerlemesi, internetin gelişmesi ve sosyal medya devrimi sayesinde bilginin gücünün öne çıkması iş yapma şeklimizi kökten değiştirdi. Firmalar bir adım öne geçebilmek için fark […]
NoSQL
Son zamanlarda sıklıkla duymaya başladığımız NoSQL kavramı, yıllardır bilişim dünyasında vazgeçilmez bir yere sahip olan ilişkisel veritabanı sistemlerine (RDBMS) alternatif olarak ortaya çıkan, aslen internetin gün geçtikçe artan verisini depolayabilmek ve yüksek trafiğe sahip sistemlerin ihtiyaçlarına cevap verebilmek amacıyla ortaya çıkmış yatay olarak ölçeklendirilebilen sistemlere verilen genel addır.NoSQL sistemlerinde RDBMS’de kullanılan SQL dili kullanılmadığı için “No SQL” […]