Spark ile Tanışma Etkinliği

27 Temmuz 2015 Hakan Sarıbıyık Haberler, 1

İstanbul Spark Tanışmaları Grubu (İSTG) tarafından Spark ın tanıtımı ve kullanımı konulu çalışma toplantısı, 25 Temmuz 2015 Cumartesi günü İstanbul Maslak taki, İTÜ Teknokent’te gerçekleştirildi. Arı 3 Çekirdek Seminer Salonu’nda gerçekleştirilen etkinliğe değişik şirket ve sektörden 23 kişi katıldı. İTÜ Çekirdek Yönetimi’nin seminer salonlarını Workshop için kullanıma sunmaları etkinliğin güzel bir ortamda gerçekleşmesine önemli katkı sağladı.

Etkinliği düzenleyen İSTG grubunun kurucusu olan Şafak Serdar Kapçı’nın, Spark’ı tanıtan kısa sunumundan sonra yaklaşık üç saat süren uygulama kısmına geçildi. Bu kısım, Spark kurulumu için sanal makinanın hazırlanması, gerekli bazı ön yüklemelerin yapılması ve sonunda da Spark’ın kurulumu ile tamamlandı. Sonrasında iki ayrı örnek veri seti üzerinde uygulamalı olarak Spark ın yetenekleri gösterildi. Bu adımların detaylarına github daki SparkWorkShop dan ulaşabilirsiniz.

Şafak Serdar Kapçı’nın, Spark’ı tanıtan kısa sunumu

Çalışmalar boyunca Şafak Bey in tek tek katılımcılar ile ilgilenmesi ve sorularını cevaplaması

Uygulamalar için REPL olarak bilinen ve popüler etkileşimli hesaplama ortamı olarak yakın zamanda Jupyter Projesi ismi ile Python a bağlı olmayan bir kimliğe bürünen IPython Notebook ortamında Şafak Bey in hazırladığı kodların üzerinden geçildi. Spark için hazırlanmış Python API paketi olan PySpark kullanılarak temel verinin SparkContext e yüklenmesi ve bu veri üzerinde transformasyon ve aksiyon kategorisindeki işlemlerin nasıl yapılacağı ile ilgili örnek verilerek devam edildi.

Spark için hazırlanmış Python API paketi olan PySpark kullanımı

Arkasından SparkSQL e bir giriş olarak, PySpark paketinin bir alt paketi olan pyspark.sql kullanılarak da benzer işlemlerin aynı veri setleri üzerinde nasıl yapıldığı konusunda bazı örneklerle oturum tamamlandı.

SparkSQL e bir giriş olarak, PySpark paketinin bir alt paketi olan pyspark.sql ın kullanımı

Çalışmalar boyunca Şafak Bey in tek tek katılımcılar ile ilgilenmesi ve sorularını cevaplaması ile genel olarak katılımcıların bir çoğunun Spark a giriş ve ısınma açısından hızlı bir başlangıç yaptıkları söylenebilir. Bu etkinlikte emeği geçen burada bahsedemediğimiz kişileri yorumlar kısmına eklerseniz seviniriz. Hadoop konusunda bir bloğa da sahip olan Şafak Bey i bu başarılı organizasyon nedeni ile tebrik ediyoruz.

İstanbul Spark Tanışmaları Grubu, Jupyter, PySpark, Spark

MongoDB Replica Set Kullanımı Hadoop Workshop Etkinliği