Veriler ve bilgiler hayatımızın büyük bir kısmında önemli rol oynuyorlar. Özellikle iş, tıp, ticaret ve bilim dünyasında sıkça verilerden bilgi edinme yöntemleri kullanılıyor. Geçmişte kullanışmış birçok yöntem bugünkü araçlara ışık tutuyor. Zira verilerden edindiğimiz bilgiler bizlere verilerin içindeki gizli ve kullanışlı şeyleri aktarabilir. Bu doğrultuda son yıllarda Massachusetts Teknoloji Enstitüsü’nde (MIT) yapılan çalışmalar ise veriden bilgi edinme ile ilgili konularda bizlere ışık tutuyor.
Verilerin işlevsellik seviyesini tahmin etme
MIT’deki araştırmacılar, önceki yöntemlerden daha doğru ve tutarlı şekilde, verilerin içerdiği bilgiyi tahmin edebiliyor.
Tüm veriler eşit şekilde oluşmaz. Peki bir veri parçasının içerdiği bilgiyi ölçmek mümkün mü? Bu soru, tıbbi testler, bilimsel deneyler, günlük aktiviteler ve düşüncesinin merkezinde yer alıyor. MIT’deki araştırmacılar, tıpta, bilimsel keşifte, bilişsel bilimde ve yapay zekada yeni uygulamalar açarak bu sorunu çözmek için yeni bir teknik geliştirdiler.
Teoride, MIT Fahri Profesörü Claude Shannon’ın 1948 tarihli “A Mathematical Theory of Communication” başlıklı makalesinde bu soru yanıtlanmıştı. Shannon’ın çığır açan sonuçlarından biri, gözlemlenen verileri modelleyen rasgele değişkenler de dahil olmak üzere herhangi bir rassal nesnede bulunan bilgi miktarını ölçmemize izin veren entropi (dağılım) fikri idi. Shannon’ın sonuçları, bilgi teorisinin ve modern telekomünikasyonun temellerini oluşturdu. Entropi kavramının bilgisayar bilimi ve makine öğrenimi için de merkezi olduğu kanıtlanmıştı.
Kaosu tahmin etmenin zorluğu
Ne yazık ki, Shannon’ın formülü kullanışlı değildi. Veri oluşturma süreci çok basitken – örneğin, tek bir bozuk para veya yüklü bir kalıbın rulosu – dağılımları hesaplamak kolaydı. Ancak, pozitif bir test sonucunun, tümü bilinmeyen yüzlerce etkileşimli değişkenin sonucu olduğu tıbbi test sorununu düşünün. Sadece 10 bilinmeyenle, veriler için neredeyse 1.000 olası açıklama var. Birkaç yüz ile, bilinen evrendeki atomlardan daha fazla olası açıklama varken, dağılım hesaplamak çözülemez bir problem haline geliyor.
MIT’deki araştırmacılar, olasılıksal çıkarım kullanarak Shannon entropisi gibi yaklaşımları tahmin etmek için yeni bir yöntem geliştirdiler. Çalışma, AISTATS 2022’de elektronik mühendisliği ve bilgisayar bilimleri alanında doktora adayı olan yazar Feras Saa tarafından sunulan bir makalede yer alıyor. Marco-Cusumano Towner ve Vikash Mansinghka Beyin ve Bilişsel Bilimler Bölümü’nde baş araştırma bilimcisi olarak hizmet veriyor. Bu sistem tüm açıklamaları sıralamak yerine, ilk önce hangi açıklamaların olası olduğunu çıkarmak için olasılıklı çıkarım algoritmalarını kullanarak bu olası açıklamaları yüksek kaliteli entropi tahminleri oluşturmak için kullanmakta. Makale, bu çıkarım temelli yaklaşımın önceki yaklaşımlardan çok daha hızlı ve daha doğru olabileceğini gösteriyor.
Olasılıksal bir modelde entropi ve bilgiyi tahmin etmek temelde zordur çünkü genellikle yüksek boyutlu bir entegrasyon probleminin çözülmesini gerektirir. Daha önceki birçok çalışma, özel durumlar için bu miktarların tahmin edicilerini geliştirmiştir, ancak çıkarım yoluyla entropinin yeni tahmin edicileri (EEVI), geniş bir bilgi-teorik miktarlar kümesi üzerinde keskin üst ve alt sınırlar sağlayabilen temel yaklaşımı sunar. Teoride yer alan üst ve alt sınır, gerçek entropiyi bilmesek de, ondan daha küçük ve ondan daha büyük bir sayı elde edebileceğimiz anlamına gelir.
Saad, “Metodumuzun sağladığı entropi üzerindeki üst ve alt sınırlar, özellikle üç nedenden dolayı faydalıdır” diyor. “İlk olarak, üst ve alt sınırlar arasındaki fark, tahminler konusunda ne kadar emin olmamız gerektiğine dair nicel bir fikir verirken ikincisi, daha fazla hesaplama çabası kullanarak, iki sınır arasındaki farkı sıfıra çekebiliyor, bu da gerçek değeri yüksek derecede bir doğrulukla “sıkıştırıyor”. Üçüncüsü, bir modeldeki farklı değişkenlerin birbirleri hakkında ne kadar bilgilendirici olduğunu bize söyleyen diğer niceliklerin tahminlerini oluşturmak için bu sınırları oluşturabiliriz.”
Veriye dayalı uzman sistemlerle temel sorunları çözme
Saad, en çok bu yöntemin makine destekli tıbbi teşhisler gibi alanlarda olasılık modellerini sorgulama olanağı sağlaması konusunda heyecanlı olduğunu söylüyor. EEVI yönteminin bir amacının, tıp alanındaki uzmanlar tarafından halihazırda geliştirilmiş olan karaciğer hastalığı ve diyabet gibi şeyler için zengin üretken modeller kullanarak yeni sorguları çözebilmek olduğunu söylüyor. Örneğin, bir dizi gözlemlenen niteliklere (boy, kilo, yaş vb.) ve gözlemlenen semptomlara (bulantı, kan basıncı vb.) sahip bir hastamız olduğunu varsayalım. Bu nitelikler ve semptomlar göz önüne alındığında, EEVI, belirli bir karaciğer hastalığının (siroz veya primer biliyer kolanjit gibi) yokluğu veya varlığı hakkında bilgiyi en üst düzeye çıkarmak için semptomlar için hangi tıbbi testleri yapması gerektiğini belirlemeye yardımcı olmak için kullanılabilir.
İnsülin teşhisi için yazarlar, bir hastanın insülin duyarlılığı hakkındaki bilgileri en üst düzeye çıkaran kan şekeri ölçümlerini almak için en uygun zamanları hesaplama yönteminin nasıl kullanılacağını gösterdi.
İnsülin metabolizmasının uzman tarafından oluşturulmuş bir olasılık modeli ve hastanın kişiselleştirilmiş yemek ve ilaç programı göz önüne alındığında. Glikoz izleme gibi rutin tıbbi izleme, doktor ofislerinden giyilebilir cihazlara doğru ilerledikçe, verilerin değeri önceden doğru bir şekilde tahmin edilebiliyorsa, veri toplamayı iyileştirmek için daha da fazla fırsat vardır.
Makalenin kıdemli yazarı Vikash Mansinghka şunları ekliyor: “Olasılık çıkarım algoritmalarının, yapay zeka mühendislerinin sıklıkla hesaplamanın zor olduğunu düşündükleri bilgi önlemleri üzerindeki katı sınırları tahmin etmek için kullanılabileceğini gösterdik. Bu, birçok yeni uygulamanın önünü açabilir. Ayrıca, çıkarımın düşündüğümüzden daha hesaplamalı olabileceğini gösteriyor.
“Olasılık Modellerinde Çıkarım Yoluyla Entropi ve Bilgi Tahmincileri” başlıklı makale AISTATS 2022’de sunuldu.
