MIT ve Stanford Üniversitesi’nden araştırmacılar, koşulların hızla değişebildiği dinamik ortamlarda drone veya otonom araç gibi bir robotu daha etkili ve verimli bir şekilde kontrol etmek için kullanılabilecek yeni bir makine öğrenimi yaklaşımı geliştirdiler.
Bu teknik, otonom bir aracın patinaj yapmaktan kaçınmak için kaygan yol koşullarını telafi etmeyi öğrenmesine yardımcı olabilir, robotik bir serbest uçan aygıtın uzayda farklı nesneleri çekmesine izin verebilir veya bir drone’un güçlü rüzgarlarla sarsılmasına rağmen yokuş aşağı bir kayakçıyı yakından takip etmesini sağlayabilir.
Araştırmacıların yaklaşımı, kontrol teorisinden belirli bir yapıyı, bir uçan aracın yörüngesi üzerindeki rüzgar etkilerinden kaynaklanması gibi karmaşık dinamikleri kontrol etmenin etkili bir yöntemine yol açacak şekilde bir modeli öğrenme sürecine dahil ediyor. Bu yapı hakkında düşünmenin bir yolu, bir sistemin nasıl kontrol edileceğine rehberlik etmeye yardımcı olabilecek bir ipucudur.
MIT Makine Mühendisliği Departmanında Yardımcı Doçent Navid Azizan, “Çalışmamızın odak noktası, daha etkili, dengeleyici kontrolörler tasarlamak için kullanılabilecek sistem dinamiklerindeki içsel yapıyı öğrenmek. Sistemin dinamiklerini ve bu benzersiz kontrol odaklı yapıları verilerden ortaklaşa öğrenerek, doğal olarak gerçek dünyada çok daha etkili çalışan kontrolörler oluşturabiliyoruz.”
Bu yapıyı öğrenilen bir modelde kullanan araştırmacıların tekniği, bir denetleyicinin ek adımlarla ayrı ayrı türetilmesini veya öğrenilmesini gerektiren diğer makine öğrenimi yöntemlerinin aksine, modelden hemen etkili bir denetleyici çıkarır. Bu yapı ile yaklaşımları, diğer yaklaşımlara göre daha az veri kullanarak etkili bir denetleyiciyi de öğrenebilmektedir. Bu, öğrenmeye dayalı kontrol sistemlerinin hızla değişen ortamlarda daha hızlı daha iyi performans elde etmesine yardımcı olabilir.
Stanford Üniversitesi’nde yüksek lisans öğrencisi olan baş yazar Spencer M. Richards: Bu çalışma, sisteminizdeki yapıyı tanımlama ile yalnızca verilerden bir model öğrenme arasında bir denge kurmaya çalışıyor. Yaklaşımımız, robot uzmanlarının robotlar için daha basit modeller elde etmek için fiziği nasıl kullandıklarından ilham alıyor. Bu modellerin fiziksel analizi genellikle kontrol amaçları için yararlı bir yapı sağlar – saf bir şekilde verilere bir model uydurmaya çalışırsanız bu yapıyı gözden kaçırabilirsiniz. Bunun yerine, kontrol mantığınızı nasıl uygulayacağınızı gösteren verilerden benzer şekilde yararlı yapıyı belirlemeye çalışıyoruz.
Makalenin diğer yazarları, MIT’de makine mühendisliği ve beyin ve bilişsel bilimler profesörü olan Jean-Jacques Slotine ve Stanford’da havacılık ve uzay bilimleri doçenti Marco Pavone’dur. Aynı zamanda araştırma Uluslararası Makine Öğrenimi Konferansı’nda (ICML) sunulacak.
Bir denetleyici öğrenmek
Belirli bir görevi yerine getirmek için bir robotu kontrol etmenin en iyi yolunu belirlemek, araştırmacılar sistemle ilgili her şeyi nasıl modelleyeceklerini bilseler bile zor bir problem olabilir.
Kontrolör, örneğin bir drone’un istenen bir yörüngeyi takip etmesini sağlayan mantıktır. Bu kontrolör, insansız hava aracına, hedefine ulaşmak için onu sabit bir yoldan çıkarabilecek rüzgarların etkisini telafi etmek için rotor kuvvetlerini nasıl ayarlayacağını söyleyecektir.
Dronelar genel olarak dinamik sistemlerdir. Bu durumda, çevrede uçarken konumu ve hızı değişir. Böyle bir sistem yeterince basitse, mühendisler elle bir kontrolör üretebilir.
Bir sistemi elle modellemek, sistemin fiziğine dayalı olarak özünde belirli bir yapıyı yakalar. Örneğin, bir robot diferansiyel denklemler kullanılarak manuel olarak modellendiyse, bunlar hız, ivme ve kuvvet arasındaki ilişkiyi yakalayacaktır. İvme, robotun kütlesi ve robota uygulanan kuvvetler tarafından belirlenen, hızın zaman içindeki değişim oranıdır.
Ancak çoğu zaman sistem tam olarak elle modellenemeyecek kadar karmaşıktır. Richards, dönen rüzgarın uçan bir aracı itmesi gibi aerodinamik etkilerin manuel olarak elde edilmesinin çok zor olduğunu açıklıyor. Araştırmacılar bunun yerine zaman içinde dronun konumu, hızı ve rotor hızlarının ölçümlerini alacak ve bu dinamik sistemin bir modelini verilere uydurmak için makine öğrenimini kullanacaklardı. Ancak bu yaklaşımlar tipik olarak kontrole dayalı bir yapı öğrenmez. Bu yapı, drone’nun hareketini zaman içinde yönlendirmek için rotor hızlarının en iyi nasıl ayarlanacağını belirlemede yararlıdır.
Dinamik sistemi modelledikten sonra, birçok mevcut yaklaşım sistem için ayrı bir denetleyici öğrenmek için verileri kullanır.
“Ayrı varlıklar olarak verilerden dinamikleri ve bir denetleyiciyi öğrenmeye çalışan diğer yaklaşımlar, normalde daha basit sistemler için yaptığımızdan felsefi olarak biraz farklıdır. Yaklaşımımız daha çok fizikten elle model türetmeyi ve bunu kontrole bağlamayı anımsatıyor,” diyor Richards.
Tanımlayıcı yapı
MIT ve Stanford’dan ekip, dinamik modeli öğrenmek için makine öğrenimini kullanan, ancak modelin sistemi kontrol etmeyi sağlayan önceden belirlenmiş bir yapıya sahip olduğu bir teknik geliştirdi.
Bu yapıyla, denetleyici için tamamen ayrı bir model öğrenmek amacıyla verileri kullanmak yerine doğrudan dinamik modelden bir denetleyici çıkarabilirler.
“Dinamikleri öğrenmenin ötesinde, etkili denetleyici tasarımını destekleyen kontrol odaklı yapıyı öğrenmenin de önemli olduğunu fark ettik. Dinamiklerin duruma bağlı katsayı çarpanlarına ayırma yaklaşımını öğrenme yaklaşımımız, veri verimliliği ve izleme yeteneği açısından temel değerleri geride bıraktı ve sistemin gidişatını verimli ve etkili bir şekilde kontrol etmede başarılı olduğunu kanıtladı,” diyor Azizan.
Bu yaklaşımı test ettiklerinde, denetleyicileri, tüm temel yöntemleri geride bırakarak istenen yörüngeleri yakından takip etti. Öğrendikleri modelden çıkarılan kontrolör, sistemin tam dinamikleri kullanılarak oluşturulmuş bir yer gerçeği kontrol cihazının performansıyla neredeyse eşleşiyordu.
Richards, “Daha basit varsayımlar yaparak, aslında diğer karmaşık temel yaklaşımlardan daha iyi çalışan bir şey elde ettik” diye ekliyor.
Araştırmacılar ayrıca yöntemlerinin veri açısından verimli olduğunu, bunun da az veriyle bile yüksek performans elde ettiği anlamına geldiğini buldular. Örneğin, yalnızca 100 veri noktası kullanarak son derece dinamik rotorlu bir aracı etkili bir şekilde modelleyebilir. Birden çok öğrenilmiş bileşen kullanan yöntemler, performanslarının daha küçük veri kümeleriyle çok daha hızlı düştüğünü gördü.
Bu verimlilik, tekniklerini özellikle bir drone veya robotun hızla değişen koşullarda hızlı bir şekilde öğrenmesi gereken durumlarda yararlı hale getirebilir.
Ayrıca, yaklaşımları genelleştirilebilir ve robotik kollardan düşük yer çekimli ortamlarda çalışan serbest uçan uzay araçlarına kadar birçok dinamik sistem türüne uygulanabilir.
Richards, gelecekte, araştırmacıların fiziksel olarak daha yorumlanabilir ve dinamik bir sistem hakkında çok özel bilgileri tanımlayabilecek modeller geliştirmekle ilgilendiklerini söylüyor.
Kaynak: Massachusetts Institute of Technology
