Midjourney setzt auf kreative Vielfalt in der KI-Texterstellung

Midjourney, bekannt für seine KI-Bildgeneration, erweitert seine Forschung auf kreative Textgenerierung und zielt darauf ab, die Vorhersagbarkeit in den Ausgaben großer Sprachmodelle (LLMs) zu verringern. Dabei arbeitet das Unternehmen mit Forschern der New York University zusammen, um zwei neue Techniken zu entwickeln: Diversified Direct Preference Optimization (DDPO) und Diversified Odds Ratio Preference Optimization (DORPO). Diese Methoden zielen darauf ab, die Tendenz von LLMs, vorhersehbare Inhalte zu produzieren, zu beseitigen, indem Vielfalt direkt in den Trainingsprozess integriert wird.

Die neuen Techniken unterscheiden sich von bestehenden Ansätzen, da sie nicht nur während des Inferenzprozesses, sondern bereits während der Modellentwicklung eingesetzt werden. Dies fördert die Fähigkeit der Modelle, kreativere und abwechslungsreichere Texte zu generieren. Die Forscher veröffentlichten ihre Ergebnisse, einschließlich Implementierungsdetails, auf Hugging Face und GitHub. Erste Tests zeigten, dass die DDPO-Methode bestehende Ansätze bei der Balance zwischen Qualität und Vielfalt übertraf.

Die erzielten Fortschritte sind wichtig, weil kreatives Schreiben sich grundlegend von anderen Aufgaben wie Fakten- oder Code-Generierung unterscheidet. Es gibt nicht immer eine „richtige“ Antwort, sondern viele mögliche Ansätze. Daher führen herkömmliche LLM-Trainings, die sich stark an Nutzerpräferenzen orientieren, oft zu sicheren, aber repetitiven Inhalten. Midjourneys Forschung könnte den Weg zu KI-Systemen ebnen, die menschliche Kreativität besser unterstützen, indem sie vorhersagbare und schablonenhafte Inhalte vermeiden.

Ein weiterer interessanter Aspekt von Midjourneys Expansion ist die geplante Entwicklung eigener Rechen- und KI-Hardware. Mit einer Nutzerbasis von fast 20 Millionen auf Discord hat das Unternehmen das Potenzial, seine Verbesserungen in der kreativen Textgenerierung in verschiedenen KI-generativen Bereichen anzuwenden.