DeepMind Gecko: Neue Benchmark-Suite für Text-zu-Bild-Modelle vorgestellt

Die Forscher von Google DeepMind haben eine neue Methode zur Bewertung von Text-zu-Bild-KI-Modellen namens „Gecko“ entwickelt und in einer auf arXiv veröffentlichten Studie vorgestellt. Sie zeigten auf, dass bestehende Bewertungsmetriken und Datensätze, die für Modelle wie DALL-E, Midjourney und Stable Diffusion verwendet werden, nicht das vollständige Bild der Fähigkeiten dieser Modelle liefern würden. Das Team hat daher Gecko entwickelt, eine neue Benchmark-Suite, die Modelle mit 2.000 Textaufforderungen testet und ihre spezifischen Fähigkeiten und Schwachstellen analysiert.

Das neue Framework stellt eine Benchmark-Datenbank bereit und verspricht eine umfassendere, menschliche Annotation sowie eine verbesserte automatische Bewertungsmetrik. Die Forscher sammelten zudem über 100.000 menschliche Bewertungen von Bildern, die durch verschiedene Modelle als Reaktion auf die Gecko-Aufforderungen erstellt wurden. Dies habe dabei helfen können, zu ermitteln, ob Leistungsunterschiede auf tatsächliche Einschränkungen der Modelle, mehrdeutige Eingabeaufforderungen oder inkonsistente Bewertungsmethoden zurückzuführen sind. Die Forscher hoffen, dass Gecko in Zukunft eine genauere Beurteilung des Leistungsvermögens von Text-zu-Bild-KI ermöglichen wird und planen, den Gecko-Code und die Daten öffentlich zugänglich zu machen.

Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf ge­lan­gt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir ei­ne kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.