Yeni nesil bilimsel cihazlar, mevcut depolama ve analiz altyapısının taşıyabileceğinden çok daha fazla veri üretecek. ABD Enerji Bakanlığına bağlı SLAC Ulusal Hızlandırıcı Laboratuvarındaki araştırmacılar, büyük deney verilerini kritik küçük ayrıntıları koruyarak sıkıştıran ve yalnızca ihtiyaç duyulan bölümün geri açılmasına imkân veren yapay zekâ tabanlı bir yöntem geliştirdi.
Saniyede yaklaşık bir terabaytlık veri sorunu
SLAC’ın Linac Coherent Light Source adlı X ışını serbest elektron lazeri, gelecekte saniyede bir milyona kadar X ışını darbesi üretebilecek. Atomların ve moleküllerin çok hızlı “fotoğraflarını” çeken bazı yeni cihazların saniyede yaklaşık bir terabayt veri oluşturması bekleniyor. Bu büyüklükteki akışı saklamak, başka merkezlere taşımak ve zamanında analiz etmek mevcut yöntemlerle hem pahalı hem de yavaş.
Baş araştırmacılardan Joshua Turner, bilimsel veri miktarındaki artışın eski çalışma biçimlerini sürdürülemez hâle getirdiğini belirtiyor. Sorun yalnızca dosyaların büyüklüğü değil: Malzeme bilimi, güneş fiziği ve moleküler görüntüleme gibi alanlarda keşif değeri taşıyan bilgi, görüntülerin çok küçük ve düşük yoğunluklu ayrıntılarında saklı olabiliyor.
“Benekler” bilimsel hikâyeyi taşıyor
X ışını görüntülerindeki küçük benekler, bir malzemenin atomik düzeni, düzensizliği veya parçacıklarının hareketi hakkında bilgi verebiliyor. Geleneksel kayıplı sıkıştırma, büyük ölçekli yapıyı korurken bu ince ayrıntıları gürültü sanıp silebiliyor. Çalışmanın başyazarı Yuan Ni’ye göre bu beneklerin kaybı, malzemenin nasıl yapılandığını ve zaman içinde nasıl değiştiğini anlamaya yarayan benzersiz bilgilerin de kaybı anlamına geliyor.
Ekip yöntemi yalnızca tek bir deney türünde sınamadı. Molekül ve malzeme ölçümleri, Güneş’in manyetik alan haritaları ve standart fotoğraflar dâhil farklı veri kümeleri üzerinde yapılan testlerde sinir ağının her veri türünde önemli özellikleri öğrenebildiği bildirildi.
Dalgacık analizi ile çok ölçekli sıkıştırma
Sistem önce dalgacık analizi kullanarak verideki özellikleri büyüklüklerine göre ayırıyor. Ardından sinir ağı, farklı ölçeklerdeki özellikleri ayrı ayrı kompakt bir gösterime dönüştürüyor. Böylece büyük yapılarla birlikte küçük ayrıntılar da aynı dosyada korunabiliyor. Kullanıcı, ihtiyaç duyduğu doğruluk ve ayrıntı düzeyine göre sıkıştırma ayarını belirleyebiliyor.
Araştırmacılar veri türü ile istenen sadakat düzeyine bağlı olarak dosya boyutunda genellikle 10 ila 100 kat azalma sağlanabildiğini bildiriyor. Bu oran her veri kümesi için aynı değil; yüksek sıkıştırmanın belirli kullanım durumlarında doğruluk bedeli yaratabileceği için bilimsel gereksinime göre değerlendirme yapılması gerekiyor.
Bütün dosyayı açmadan istenen bölgeye erişim
Yöntemin önemli farklarından biri de kısmi geri çağırma özelliği. Geleneksel bir sıkıştırılmış dosyada küçük bir bölgeyi incelemek için çoğu zaman bütün dosyayı açmak gerekiyor. Yeni sistemde araştırmacı yalnızca ilgilendiği alanı ve çözünürlüğü seçebiliyor. Çalışmaya SLAC’ta katılan ve daha sonra Texas Üniversitesi Austin’e geçen Zhantao Chen, tamamı açıldığında dakikalar, saatler veya günler sürebilecek işlemin yalnızca ilgili bölge üzerinde yapılabileceğini belirtiyor.
Nature Machine Intelligence’da yayımlanan yöntem, mevcut sıkıştırma tekniklerinin yerine geçmek üzere sunulmuyor. Ekip, olay seçimi ve yalnızca önemli özelliklerin saklanması gibi veri azaltma yaklaşımlarıyla birlikte çalışabilecek ek bir araç geliştirdiklerini vurguluyor. Gerçek zamanlı deney ortamlarında yaygınlaşabilmesi için farklı cihazlarda doğrulama, hesaplama maliyeti ve uzun süreli veri erişimi gibi konuların ayrıca sınanması gerekecek.
Kaynak: Stanford
