NVIDIA GauGAN: KI macht aus euren Zeichnungen fotorealistische Werke

NVIDIA ist nicht nur Hersteller von Grafikkarten, sondern auch stark damit beschäftigt, die Anwendungsgebiete von künstlicher Intelligenz zu erforschen. NVIDIA Research ist es nun gelungen, unter Zuhilfenahme von sogenannten General Adversarial Networks (GANs) ein Deep Learning Model zu entwickeln, dass aus relativ unbedarften Zeichnungen fotorealistische Werke erstellt.

Um das Ganze umsetzen zu können, hat man eine relativ grobe App namens GauGAN zusammengebaut, die an den Maler Paul Gauguin erinnern soll. Der Nutzer kann dabei Farben auswählen, die wiederum einer Komponente der Umwelt entgegenstehen, verschiedene Grün-Töne für Baum, Gras, Pflanze, Hügel, Grau für Wolken, Hellgrau für Schnee und so weiter.

Währenddessen man mit dem Mauszeiger seiner Fantasie freien Lauf lässt, entwickelt das mit Millionen Fotos trainierte Deep Learning Model eine realistische Interpretation eurer Malerei. Was dabei mit wenigen Klicks entsteht, ist wirklich beachtlich.

“It’s much easier to brainstorm designs with simple sketches, and this technology is able to convert sketches into highly realistic images,” said Bryan Catanzaro, vice president of applied deep learning research at NVIDIA.
….
“It’s like a coloring book picture that describes where a tree is, where the sun is, where the sky is,” Catanzaro said. “And then the neural network is able to fill in all of the detail and texture, and the reflections, shadows and colors, based on what it has learned about real images.”
…
“This technology is not just stitching together pieces of other images, or cutting and pasting textures,” Catanzaro said. “It’s actually synthesizing new images, very similar to how an artist would draw something.”

Schaut euch die Videos dazu an und macht euch selbst ein Bild davon, was NVIDIA hier gebaut hat. Der wissenschaftliche Hintergrund der Arbeit kann in dem dazugehörigen Paper nachgelesen werden.