Bir süre önce düzenlenen Microsoft Research Forum’da, Microsoft Research Lab NYC ve AI Frontiers’da kıdemli araştırmacı olan Dipendra Misra, Layer-Selective Rank Reduction (veya LASER) ile yapay zekalarda kullanılan büyük dil modellerini (LLM) nasıl daha doğru hale getirebileceğini açıkladı. Microsoft’un LASER yöntemi, büyük miktarda veri üzerinde eğitilen modelleri daha küçük ve daha doğru hale getiriyor. Yapay zekaların hataları için yenilikçi çözüm
LASER ile araştırmacılar “müdahale edebilir” ve bir ağırlık matrisini yaklaşık olarak daha küçük bir matrisle değiştirebiliyor. Geleneksel olarak, daha ağır algoritmalar, kapsamlı bağlamsal bağlantıları nedeniyle daha güvenilir olarak görülüyor. Ancak Microsoft’un kıdemli araştırmacısı Dipendra Misra, LLM’lerdeki ağırlık matrislerinin stratejik olarak azaltılmasının model kaybında beklenen artışa yol açmadığını gösteriyor.
Mantıken LLM veya büyük dil modelleri üzerinde LASER kullanarak müdahale yapıldığında model kaybının artması beklenir zira çok büyük miktarda veri üzerinde eğitilmiş bir LLM’den esasında bilgi atıyorsunuz. Ancak sürpriz bir şekilde, doğru türde LASER müdahalesi yapıldığında model kaybının artmadığı, aksine azaldığı görüldü.
Microsoft araştırmacıları LASER’ı üç farklı açık kaynaklı model üzerinde başarıyla kullandığını söyledi: RoBERTa, Llama 2 ve Eleuther’in GPT-J modeli. Misra, zaman zaman model iyileştirmesinin yüzde 20 ila 30 puan arttığını söyledi. Örneğin, biyografilere dayalı cinsiyet tahmini için GPT-J’nin performansı, bir LASER müdahalesinden sonra yüzde 70,9 doğruluktan yüzde 97,5’e çıktı. Bu buluş, akademik merakın ötesine geçerek, gerçek bilgilerin doğruluğuyla ilgili yapay zeka gelişimindeki kritik bir endişeyi ele alıyor. Hatalı verilerin veya halüsinasyon olarak bilinen yaratıcı bir şekilde üretilmiş çıktıların hem eğlenceli hem de zararlı olabildiği bir sektörde LASER, daha güvenilir ve sorumlu yapay zeka uygulamalarına giden bir yol inşa edebilir.