Veriler yeni topraktır ve bu verimli yeni toprağa MIT araştırmacıları piksellerden daha fazlasını ekiyor. Bilim insanlarından oluşan bir ekip, makine öğrenimi modellerini eğitmek için sentetik görüntüler kullanarak yakın zamanda geleneksel “gerçek görüntü” eğitim yöntemlerinden elde edilen sonuçları geride bıraktı.
Yaklaşımın temelinde, yalnızca herhangi bir sentetik görüntüyü kullanmayan, StableRep adı verilen bir sistem yer alıyor; bunları Stable Diffusion gibi son derece popüler metinden görüntüye modeller aracılığıyla üretir. Bu kelimelerle dünyalar yaratmak gibi bir şey.
Peki StableRep’in gizli sosunda neler var? “Çoklu pozitif karşılaştırmalı öğrenme” adı verilen bir strateji.
MIT Bilgisayar Bilimi ve Yapay Zeka Laboratuvarı’na (CSAIL) bağlı MIT elektrik mühendisliği doktora öğrencisi Lijie Fan, “Modeli yalnızca verileri beslemek için değil, bağlam ve değişkenlik yoluyla üst düzey kavramlar hakkında daha fazla bilgi edinmek için öğretiyoruz. Hepsi aynı metinden oluşturulan ve hepsi aynı temel şeyin tasvirleri olarak ele alınan birden fazla görüntü olduğunda, model yalnızca piksellerin değil, görüntülerin, örneğin nesnenin arkasındaki kavramlara daha derinlemesine dalıyor.”
Bu yaklaşım, aynı metin istemlerinden ortaya çıkan birden fazla görüntüyü pozitif çiftler olarak kabul eder, eğitim sırasında ek bilgi sağlar, yalnızca daha fazla çeşitlilik eklemekle kalmaz, aynı zamanda görüntü sistemine hangi görüntülerin benzer, hangilerinin farklı olduğunu belirtir. StableRep, dikkat çekici bir şekilde, kapsamlı veri kümelerinde SimCLR ve CLIP gibi gerçek görüntüler üzerinde eğitilmiş üst düzey modellerin becerisini gölgede bıraktı.
“StableRep, makine öğreniminde veri toplama zorluklarını hafifletmeye yardımcı olurken aynı zamanda yapay zeka eğitim tekniklerinde yeni bir çağa doğru bir adım atıyor. Fan, komut üzerine yüksek kalibreli, çeşitli sentetik görüntüler üretme kapasitesinin, hantal harcamaların ve kaynakların azaltılmasına yardımcı olabileceğini söylüyor.
Veri toplama süreci hiçbir zaman kolay olmamıştı. 1990’larda araştırmacılar, nesneler ve yüzlere ilişkin veri kümelerini bir araya getirmek için fotoğrafları manuel olarak yakalamak zorundaydı. 2000’li yıllarda araştırmacılar veri bulmak için interneti taradı. Bununla birlikte, bu ham, düzenlenmemiş veriler, gerçek dünya senaryolarıyla karşılaştırıldığında sıklıkla tutarsızlıklar içeriyordu ve çarpık bir gerçeklik görüşü sunan toplumsal önyargıları yansıtıyordu. Veri setlerini insan müdahalesi yoluyla temizleme görevi yalnızca pahalı değil, aynı zamanda son derece zorludur. Ancak bu zorlu veri toplamanın, doğal dilde komut vermek kadar basit bir şeye indirgenebileceğini hayal edin.
StableRep’in zaferinin en önemli yönlerinden biri, sentetik görüntülerin çeşitliliği ve aslına uygunluğu arasında hassas bir denge sağlayan, üretken modeldeki “rehberlik ölçeğinin” ayarlanmasıdır. Bu kendi kendini denetleyen modellerin eğitiminde kullanılan sentetik görüntülerin, ince ayar yapıldığında gerçek görüntüler kadar, hatta daha fazla etkili olduğu görüldü.
Bir adım ileriye giderek, karışıma dil denetimi de eklendi ve gelişmiş bir varyant oluşturuldu: StableRep+. StableRep+, 20 milyon sentetik görüntüyle eğitildiğinde yalnızca üstün doğruluk elde etmekle kalmadı, aynı zamanda şaşırtıcı bir şekilde 50 milyon gerçek görüntüyle eğitilen CLIP modelleriyle karşılaştırıldığında olağanüstü verimlilik de sergiledi.
Ancak önünüzdeki yol çukurlarla dolu. Araştırmacılar, görüntü oluşturmanın mevcut yavaş hızı, metin istemleri ile ortaya çıkan görüntüler arasındaki anlamsal uyumsuzluklar, önyargıların potansiyel olarak artması ve görüntü ilişkilendirmedeki karmaşıklıklar dahil olmak üzere, gelecekteki ilerlemeler için ele alınması zorunlu olan çeşitli sınırlamaları samimi bir şekilde ele alıyor. Diğer bir sorun ise StableRep’in öncelikle üretken modelin büyük ölçekli gerçek veriler üzerinde eğitilmesini gerektirmesidir. Ekip, gerçek verilerle başlamanın bir zorunluluk olduğunu kabul ediyor; ancak iyi bir üretken modele sahip olduğunuzda, bunu tanıma modellerini ve görsel temsilleri eğitmek gibi yeni görevler için yeniden kullanabilirsiniz.
Ekip, gerçek verilerle başlama ihtiyacını henüz aşamadıklarını belirtiyor; sadece iyi bir üretken modele sahip olduğunuzda onu, tanıma modellerini ve görsel temsilleri eğitmek gibi yeni görevler için yeniden kullanabilirsiniz.
StableRep, geniş gerçek görüntü koleksiyonlarına olan bağımlılığı azaltarak iyi bir çözüm sunarken, bu metinden görüntüye modeller için kullanılan işlenmemiş veriler içindeki gizli önyargılara ilişkin endişeleri ön plana çıkarıyor. Fan, görüntü sentezi sürecinin ayrılmaz bir parçası olan metin yönlendirmelerinin seçiminin tamamen önyargıdan arınmış olmadığını söylüyor ve bu da “titiz metin seçiminin veya olası insan küratörlüğünün temel rolünü gösteriyor” diyor.
“En son metinden resme modellerini kullanarak, tek bir metin girişinden çok çeşitli görsellere olanak tanıyarak, görüntü oluşturma üzerinde benzeri görülmemiş bir kontrol elde ettik. Bu, verimlilik ve çok yönlülük açısından gerçek dünyadaki görüntü toplamayı geride bırakıyor. Uzun kuyruklu tanımada görüntü çeşitliliğini dengelemek ve eğitim için gerçek görüntülerin kullanılmasına pratik bir destek sunmak gibi özel görevlerde özellikle yararlı olduğunu kanıtlıyor. Çalışmamız, veri kalitesi ve sentezinde devam eden iyileştirme ihtiyacını vurgularken, uygun maliyetli eğitim alternatifleri sunma hedefine doğru görsel öğrenmede ileri bir adım anlamına geliyor.”
Makalede yer almayan Google DeepMind araştırmacısı ve Toronto Üniversitesi bilgisayar bilimi profesörü David Fleet, “Üretken model öğreniminin bir hayali, uzun zamandır ayrımcı model eğitimi için yararlı veriler üretebilmekti” diyor. “Bazı yaşam belirtileri görmemize rağmen, özellikle yüksek çözünürlüklü görüntüler gibi büyük ölçekli karmaşık alanlarda rüyanın anlaşılması zor oldu. Bu makale, bildiğim kadarıyla ilk kez, rüyanın gerçeğe dönüştüğüne dair ikna edici kanıtlar sunuyor. Muazzam miktardaki sentetik görüntü verilerinden karşılaştırmalı öğrenmenin, gerçek verilerden öğrenilenlerden büyük ölçekte daha iyi performans gösteren temsiller üretebileceğini ve sayısız aşağı yönlü görüş görevini iyileştirme potansiyeline sahip olduğunu gösteriyorlar.”
Fan’a makalenin baş yazarları olarak Yonglong Tian PhD ’22’nin yanı sıra MIT elektrik mühendisliği ve bilgisayar bilimi doçenti ve CSAIL baş araştırmacısı Phillip Isola da katılıyor; Google araştırmacısı ve OpenAI teknik personeli Huiwen Chang; ve Google personeli araştırma bilimcisi Dilip Krishnan. Ekip, StableRep’i New Orleans’taki 2023 Sinir Bilgi İşleme Sistemleri (NeurIPS) Konferansı’nda sunacak.
Kaynak: Massachusetts Institute of Technology
