Meta’nın Yeni Büyük Dil Modeli Llama 3 Çıktı

Nisan 18’de Meta (Facebook) şirketi son teknolojiye sahip açık kaynaklı büyük dil modellerinin yeni nesli olan Meta Llama 3‘ü tanıttı.

Performans raporlarına göre, Llama 3 kendi segmentindeki diğer dil modellerinden çok daha başarılı.

Önümüzdeki aylarda ise yeni özellikler, daha uzun bağlam pencereleri, ek model boyutları ve performans iyileştirmeleri sunmayı planlıyorlar.

Bu yeni nesil model için Meta şirketi dört temel bileşene odaklanmış: model mimarisi, ön eğitim verileri, ön eğitimin ölçeklendirilmesi ve talimat ince ayarlamaları.

Çok fazla teknik detaya girmeden bu dil modelinin eğitim verilerine değinmek istiyorum.

Llama 3 eğitim verileri, Llama 2 için kullanılandan yedi kat daha büyüktür ve dört kat daha fazla kod içerir. Ayrıca, yaklaşan çok dilli kullanım örneklerine hazırlanmak için, Llama 3 ön eğitim veri kümesinin %5’inden fazlası, 30’dan fazla dili kapsayan yüksek kaliteli İngilizce olmayan verilerden oluşuyor. Türkçe bu diller arasında. Sadece %5lik veri kümesinin 30 dile paylaştırıldığını göz önünde bulundurunca, ben Türkçe konuşma kabiliyetini gayet etkileyici buldum. Tabii ki ana dili gibi Türkçe konuşamıyor ve bazı cümleleri çok çocuksu, ancak yinede bazı konularda taslak hazırlamak yada basit çeviriler yapmak için kullanılabilir.

Ben Llama 3’ü Ollama kullanarak M1 Max Macbook’ta çalıştırdım ve cevap verme süresi gayet hızlı.

Peki sırada neler var?

400 milyar parametreli model. Evet doğru duydunuz. Meta şuanda 400 milyar parametreli modeli eğitiyor. Meta yetkilileri işte şöyle konuştu:

Önümüzdeki aylarda, çok modluluk, birden çok dilde iletişim kurma yeteneği, çok daha uzun bir bağlam penceresi ve daha güçlü genel yetenekler dahil olmak üzere yeni yeteneklere sahip çok sayıda modeli piyasaya süreceğiz.

En büyük modellerimiz 400 milyarın üzerinde parametreye sahiptir ve bu modeller hâlâ eğitim aşamasındayken ekibimiz nasıl trend olduğumuz konusunda heyecan duymaktadır.

Ayrıca, Mark Zuckerberg, Llama 3 hakkında yaptığı duyuru esnasında Meta AI’ı WhatsApp, Instagram, Facebook ve Messenger’ın üst kısmındaki arama kutularına entegre edeceklerini açıkladı.