MIT ve MIT-IBM Watson AI Lab’dan araştırmacılar, bazen yanlış yanıtlar üreten büyük dil modellerinin (LLM) güvenilirliğini artırmak için “Termometre” adı verilen yeni bir kalibrasyon yöntemi geliştirdiler. Tek görevli modellere göre uyarlanmış hali hazırda kullanılan yöntemlerinin aksine, Termometre LLM’lerin çok yönlü, çok görevli doğası için tasarlanmıştır.
Termometre adı verilen yöntemleri, kalibre etmek için büyük bir dil modelinin üzerinde çalışan daha küçük, yardımcı bir model oluşturuyor. Termometre diğer yaklaşımlara göre daha verimlidir. Daha az güç tüketen hesaplama gerektirir, modelin doğruluğunu korur ve daha önce görmediği görevlerde daha isabetli yanıtlar üretmesine olanak tanır.
Bu yöntem, klasik bir kalibrasyon tekniği olan sıcaklık ölçeklemesinden yararlanır, ancak her yeni göreve özgü etiketli veri kümelerine güvenmek yerine Termometre çeşitli görevler kümesinde eğitilir ve benzer yeni görevlere genelleştirilebilir. Örneğin, cebir ve tıbbi sorular üzerine eğitilmiş bir Termometre modeli, geometri veya biyoloji sorularını yanıtlamak için LLM’yi kalibre etmek için kullanılabilir.
Termometrenin temel avantajlarından biri, LLM’nin doğruluğunu korurken onu yalnızca biraz yavaşlatarak birden fazla eğitim çalışması gerektirmemesidir. Yöntemin verimliliği, LLM’lerde geleneksel kalibrasyon yaklaşımlarını hesaplama açısından pahalı hale getiren çok sayıda parametre göz önüne alındığında özellikle önemlidir.
Araştırmacılar Termometreyi birden fazla görev boyunca çeşitli temel çizgilere karşı test ettiler ve önemli ölçüde daha az hesaplama ile tutarlı bir şekilde daha iyi kalibre edilmiş ölçümler sağladı. Ayrıca, daha küçük bir LLM üzerinde eğitilen bir Termometre modelinin aynı aile içindeki daha büyük bir LLM’ye uygulanabileceğini ve çok yönlülüğünü artırabileceğini keşfettiler.
Gelecekte, ekip Termometreyi daha karmaşık metin oluşturma görevleri için uyarlamayı, daha büyük LLM’lere uygulamayı ve bir Termometre modelinin yeni görevlere etkili bir şekilde genelleştirilebilmesi için gereken etiketli veri kümelerinin çeşitliliğini ve sayısını belirlemeyi hedefliyor.
