Share

Related

5 Monaten her
Tech-Riesen investieren zunehmend in KI-Technologien, trotz wachsender ökonomischer Bedenken.
8 Monaten her
Google-KI-Forscher François Chollet äußert sich kritisch über die Entwicklungen und den Markt der künstlichen Intelligenz.
12 Monaten her
OpenAI steht vor Herausforderungen mit unzulässigen Chatbots im neuen GPT Store.
1 Woche her

Fortgeschrittene Skalierung von Sprachmodellen durch PEER von DeepMind

DeepMind hat eine neue Methode entwickelt, um die Leistungsfähigkeit von Sprachmodellen zu steigern, ohne dass die Rechenkosten überproportional ansteigen. Die sogenannte Parameter Efficient Expert Retrieval (PEER) Technologie verwendet eine große Anzahl kleiner Spezialeinheiten, die ‚Experten‘, anstatt jedes Input durch das gesamte Modell zu leiten. Dadurch können bestimmte Datenströme gezielt durch effizientere Pfade verarbeitet werden.

Die PEER-Technologie setzt auf einen lernenden Index, um Eingaben effizient den richtigen Experten zuzuweisen, was die Skalierbarkeit der Modelle massiv erhöht. Zudem sind diese Experten wesentlich kleiner als übliche Modellkomponenten und verwenden nur einen Neuron in der versteckten Schicht, was den Transfer und die Effizienz der Parameter verbessert.

Die Forscher von DeepMind haben in verschiedenen Tests bestätigt, dass PEER-Modelle eine bessere Rechenleistungs-Handelsbilanz aufweisen als herkömmliche Modelle mit dichten Feedforward-Schichten. Dies könnte besonders für die Entwicklung fundamentaler Modelle nützlich sein, die eine fortlaufende Anpassung und Erweiterung des Wissens benötigen.

Diese Entwicklungen könnten bedeutende Auswirkungen auf die Kosten und die Komplexität der Ausbildung und Bereitstellung sehr großer Sprachmodelle haben. PEER könnte sich als konkurrenzfähige Alternative etablieren und die Grundlagen für den effizienten Betrieb zukünftiger AI-Systeme legen.

Lesenswert hierzu

Dieser Artikel wurde vollständig oder teilweise durch eine Künstliche Intelligenz (KI) erstellt. Obwohl wir bemüht sind, genaue und aktuelle Informationen bereitzustellen, können wir keine Garantie für die Richtigkeit oder Vollständigkeit des Inhalts übernehmen. Bitte überprüfen Sie alle Informationen und ziehen Sie bei Bedarf eine fachkundige Beratung hinzu.

Weitere News

7 Stunden her
Lenovo zeigt auf dem MWC 2025 AI-gestützte Laptops zur Steigerung von Kreativität und Produktivität.
1 Tag her
Forscher verwandeln Kakerlaken in Cyborgs, um in schwer zugänglichen Bereichen zu navigieren.

Kategorien

Allgemein

Automatisierung

Digitalisierung

Forschung & Entwicklung

Generative KI

KI in der Praxis

KI in Marketing

KI-Anwendungen

KI-Ethik

KI-News & Trends

Produktivität

Robotik

Teilen Sie es mit der Welt!