Llama 3.1: Neue Skalierungsstufe erreicht
Meta hat die nächste Generation seiner Llama-Modelle veröffentlicht. Llama 3.1 kommt in drei Varianten: 8B, 70B und neu 405B Parameter. Das Flaggschiff-Modell ordnet sich damit in einer Gewichtsklasse ein, die bisher von wenigen Systemen besetzt ist.
Kernverbesserungen
Context-Länge verdoppelt: Alle drei Modelle unterstützen jetzt 128K Token Context Window – das ist doppelt so viel wie Llama 3. Das ermöglicht längere Dokumente, komplexere Aufgaben und besseres In-Context Learning.
Multilingualität gestärkt: Meta hat das Training auf 162 Sprachen erweitert. Die vorherige Generation unterstützte deutlich weniger Sprachen. Besonders für europäische und asiatische Sprachen zeigen sich Verbesserungen. Das macht die Modelle für globale Anwendungen praktikabler.
Technische Optimierungen: Die 405B-Variante wurde mit verbesserter Inferenz-Effizienz trainiert. Meta verspricht bessere Performance bei gleichzeitiger Reduzierung der Compute-Anforderungen im Vergleich zu ähnlich großen Modellen anderer Anbieter.
Für wen welche Größe?
Die 8B-Variante bleibt das Standardmodell für Edge-Geräte und lokale Deployments. Die 70B schließt die Lücke zu Enterprise-Anwendungen mit moderaten Hardware-Anforderungen. Die 405B richtet sich an großskalige Infrastrukturen und spezialisierte Use Cases, wo pure Performance zählt.
Open Source – aber mit Einschränkung
Wie gewohnt stellt Meta die Modelle via Hugging Face bereit. Allerdings gilt: Die Lizenz beschränkt kommerzielle Nutzung für Unternehmen mit über 700 Millionen Monthly Active Users. Das ist weniger restriktiv als andere Ansätze, aber immer noch eine praktische Hürde für einige größere Organisationen.
Praktische Relevanz
Die Kombination aus Extended Context und besserer Mehrsprachigkeit adressiert reale Probleme: Längere Eingaben für RAG-Systeme, bessere Unterstützung für nicht-englische Workloads. Mit 128K Tokens lassen sich beispielsweise mittellange Bücher oder lange Transkripte in einem Kontext verarbeiten.
Die 405B ist interessant für Teams, die bereits große Modelle einsetzen und verschiedene Ansätze benchmarken möchten. Für die meisten Produktionsszenarien dürften 70B ausreichen – bei deutlich geringeren Kosten.
Die Modelle sind ab sofort verfügbar und können direkt über Hugging Face geladen werden.