DevVeri.com

Boğulacaksan büyük veride boğul!

Malaysia Airlines Flight 370

Pekin’e varmak üzere 8 Mart 2014 de Kuala Lumpur’dan havalanan 153 ü Çin vatandaşı olmak üzere 15 ülkeden 227 yolcu ve 12 mürettebat olmak üzere toplam 239 kişi taşıyan Boeing 777-200 tipi yolcu uçağı oniki gündür kayıp. Uçağın ve yolcuların akıbeti konusunda somut bir açıklama henüz yok. Olayın ilk günlerinde, bilinmeyen bir nedenle düştüğü düşünülen ve normal rotasında güney çin denizinde yapılan kurtarma ve arama çalışmaları son birkaç gündür uçağın rotasının ortadan kaybolmadan hemen önce değiştirildiği iddiası ile farklı bir boyut kazandı. Artık birçok değişik senaryonun düşünüldüğü ve konuşulduğu bir olay haline geldi.

Bugün itibari ile 26 ülkenin araştırma ve arama eforuna katıldığı, dünya tarihindeki en karmaşık arama operasyonlarından birini, pazarlama ve satış ağırlıklı söylemlerden uzakta kalarak, büyük veri teknolojilerinin gelmiş olduğu noktadan değerlendirmesini yapmaya çalışacağız.

Veri Kaynakları

İlişkisel Veritabanları; Öncelikle normal bir ticari uçuşta toplanan bilgilerle başlamakta fayda var. Bu bilgiler, temel olarak, uçuş mürettebatı, yolcu listeleri, uçuş seyir, uçak bakım, havayolu şirketi, uçulan lokasyonlar, bu lokasyonlardaki güvenlik ve yer hizmeti veren personel, uçağın taşıdığı eşya ve diğer yükler, yeme ve içme desteğinin alındığı firma ve kişiler, uçuşun gerçekleştiği hava koşulları vb. ilişkisel veri tabanlarında tutulan fakat genel olarak bir merkezden işlenmesi için yapılandırılmamış bilgilerdir. Bu bilgiler her uçan uçak için vardır ve 11 Eylül olaylarında teknik sebepler ve hava korsanlığı dışında sebeplerle de yakından takip edilmesi gerektiği ortaya çıkmıştır.

Kapsamı Belirli Büyük Veri; Ayrıca, bir uçağın uçması sırasında bu bilgiler dışında uçuşu gözleme amacı olmadan toplanan bilgiler de vardır ve normal bir uçuş söz konusu olduğunda bu bilgilerin kullanılması doğrudan aklımıza gelmez. Uydulardan alınan video ve fotoğraflar, değişik elektronik sinyal verileri, uçuş rotasında bulunan ve değişik amaçlarla kullanılan radar ve gözlem verileri, askeri ve sivil amaçlı uçan uçakların üzerindeki radarların topladığı veriler, uçaktaki kişilerin cep telefonlarının herhangi bir baz istasyonu ile yaptığı sinyalleşme bilgileri, yine uçaktaki yolcuların internette yaptıkları aktiviteler gibi.

Kapsamı Belirsiz Büyük Veri; Bunların dışında uçak ve gerçekleşen uçuş dışında, uçuş öncesi ve olay sırasında olaya ışık tutacak doğrudan bağlantısı olmayan ya da olduğu başta düşünülmeyen kişilerin yaptıkları telefon konuşmaları, mesajlaşmalar, internette yaptıkları her türlü faaliyet, istihbarat bilgileri var.

Bütün bu bilgilerin olayla ilgili olarak “ne? ne zaman? nerede? nasıl? neden? kim?” sorularına cevap vermek için kullanıldıkları bir dünyada, büyük veri teknolojilerinin yeri neresi dediğimizde bazı reklam ve pazarlama faaliyetlerinin yapıldığını görüyoruz. Gerçek ise 12 gündür kayıp olan söz konusu uçağın nerede olduğu ve başına ne geldiği ile ilgili herhangi bir haber veya bilginin olmadığı.

Temel Soru

Olayın genel resmini ortaya koyduk, büyük veri teknolojileri bu problemi çözmede kullanılmadı mı? Kullanıldı ise neden halen çözülemedi? Burada büyük veri teknolojilerinin bu problemin çözümünde kullanmanın zorlukları ve ileride çözüm üretebilmesi için yapılması gerekenler neler?

Çözüm Bileşenleri

Entegrasyon

Öncelikle büyük veri teknolojileri mevcut veri tabanı teknolojileri ile entegre bir şekilde çalışabilmektedir. Bu konuda önemli yol alınmış durumda ve sıkıntı olabilecek konu veri kaynaklarına doğrudan erişim haklarının olmaması olabilir. Böyle bir olayda farklı kurum ve ülkelerdeki veri tabanlarına hızlı erişim ihtiyacı olduğundan, bilgilerin paylaşımı için bir yöntem ve kuralların olup olmadığı sorusu akla geliyor. Burada farklı dillerde olan verilere erişmenin ve bu bilgileri kaynaştırmanın zorluklarının da teknik olarak çözülmesi gerektiğini belirtmek gerekiyor. Örnek olarak; Malay dili ve Çin dili uçağın kalkış ve iniş noktalarında kullanılan diller ve bu dillerdeki bilgi kaynaklarının birleştirilmesi gerekiyor.

Büyük Veri kaynaklarına Erişim ve İşleme

Büyük veri daha da zor olarak erişilebilen bilgiler olacak kuşkusuz. Uydulardan alınan olay yeri ile ilgili görüntülerin işlenmesi başlı başına bir büyük veri problemi. Şu anda Amerika Birleşik Devletleri toplam yüz ölçümüne denk olan Günay Asya da bir bölgeye ait uydu görüntülerinin işlenmesinden bahsediliyor[1]. Zaman dilimi de olayın üzerinden geçen zaman arttıkça artıyor tabii ki. Bu bilgilerin kim ile, hangi şartlarda paylaşılacağı, ve çıkan sonuçların kim tarafından kullanılacağı da net değil. Fotoğraf, radar, GSM baz istasyonu bilgileri gibi daha sayısız veri kaynağı benzer durumda. Uçaktaki kişilerin yapmış olduğu internetteki aktivitelerin bilgiye dönüştürülmesi de ayrı bir problem.

Bunların dışında daha çok istihbarat servislerinin ilgi alanına giren konularda, uluslararası güvenlik açısından konunun değerlendirilmesi gerekiyor ki bu yazının dışında tuttuğumuz bir konu.

Ele alınan problem bağlamında düşünüldüğünde, eski yöntemler yeni bir veri işleme teknolojisi ile birlikte günümüz dünyasının çok karmaşık ve hızlı çözüm gerektiren problemlerine çözüm üretmek için kullanılmak istendiğinde “acaba uydu görüntülerinde uçağın enkazlarını bulabilir miyiz?” şeklinde bazı belirli soruların cevaplanmasında kullanılabilir. Ama ilgili bütün veri kaynaklarına erişen, bunları ele alınan problem kapsamında hızla değerlendiren bir sistemin çok uzağındayız.

Farklı bir dünya kooperatif akıllar

Bunun yerine, interneti ortak insanlık aklının somutlaşması olarak gören görüşü haklı çıkaracak tarzda yaklaşımları görüyoruz. Hadoop tarzı paralel işleme ve sonuç çıkarma kapasitesine sahip bir ortam olarak web i, işlemciler olarak da bilgisayarlar dışında insanları da kullanan bir yaklaşımda uydu görüntülerini gönüllüler tek tek inceliyor ve bulgularını paylaşıyorlar [2]. İsmi Tomnod ve anlamının Moğolca da Büyük Göz anlamına geldiği söyleniyor [3]. Sloganları şu “Join the Tomnod team! Your task is to explore the satellite images and tag any important locations you find.”

Tomnod, bütün örüntü işleme algoritmalarının performansına erişmeye çalıştığı, en iyi örüntü işleme makinası olan insan beyninin, en azından benzeri bir algoritma yapılana kadar böyle bir problemde kooperatif olarak nasıl kullanılabileceğine ilişkin değişik problem çözüm yöntemlerine farklı bir örnek sunuyor.

Yeni bir çağ, yeni bilgi işleme teknikleri, fakat aklımızda çözülmesi daha önce düşünülemeyen sorular. Bu soruların çözülebilmesi, belirli yöntemlere odaklanarak değil problemlere odaklanarak yapılabilir ancak. Ülkemizde ve dünyada var olan problemlere çözüm üretmek istiyorsak, yol ve yöntemleri ararken teknolojiden faydalanma ve gerektiğinde yeni teknolojileri üretmek kaçınılmazdır. Bunun için sadece problemlere odaklanmamız gerekiyor.

Kaynaklar;

[1] http://www.theguardian.com/world/2014/mar/13/malaysia-airlines-flight-satellite-images

[2] http://www.dailymail.co.uk/news/article-2583807/Did-Malaysian-fisherman-missing-flight-MH370-flying-low-Gulf-Thailand.html

[3] http://emergencyjournalism.net/featured-tool-tomnod/

[4] http://www.tomnod.com/nod/

,

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

This site uses Akismet to reduce spam. Learn how your comment data is processed.