Fortgeschrittene Skalierung von Sprachmodellen durch PEER von DeepMind

DeepMind hat eine neue Methode entwickelt, um die Leistungsfähigkeit von Sprachmodellen zu steigern, ohne dass die Rechenkosten überproportional ansteigen. Die sogenannte Parameter Efficient Expert Retrieval (PEER) Technologie verwendet eine große Anzahl kleiner Spezialeinheiten, die ‚Experten‘, anstatt jedes Input durch das gesamte Modell zu leiten. Dadurch können bestimmte Datenströme gezielt durch effizientere Pfade verarbeitet werden.

Die PEER-Technologie setzt auf einen lernenden Index, um Eingaben effizient den richtigen Experten zuzuweisen, was die Skalierbarkeit der Modelle massiv erhöht. Zudem sind diese Experten wesentlich kleiner als übliche Modellkomponenten und verwenden nur einen Neuron in der versteckten Schicht, was den Transfer und die Effizienz der Parameter verbessert.

Die Forscher von DeepMind haben in verschiedenen Tests bestätigt, dass PEER-Modelle eine bessere Rechenleistungs-Handelsbilanz aufweisen als herkömmliche Modelle mit dichten Feedforward-Schichten. Dies könnte besonders für die Entwicklung fundamentaler Modelle nützlich sein, die eine fortlaufende Anpassung und Erweiterung des Wissens benötigen.

Diese Entwicklungen könnten bedeutende Auswirkungen auf die Kosten und die Komplexität der Ausbildung und Bereitstellung sehr großer Sprachmodelle haben. PEER könnte sich als konkurrenzfähige Alternative etablieren und die Grundlagen für den effizienten Betrieb zukünftiger AI-Systeme legen.