Nvidia ist nicht nur für seine Grafikkarten bekannt, das Unternehmen setzt auch viel auf die Forschung und Entwicklung und auf das Thema autonomes Fahren. Unter anderem hat man bereits diverse Partnerschaften am Start. In der Forschungsabteilung des Konzerns hat man nun eine künstliche Intelligenz entwickelt, die in der Lage ist, 3D-Umgebungen zu rendern, welche echten Videoaufnahmen nachempfunden sind. Zum Training des neuronalen Netzes benutzte man beispielsweise Aufnahmen von Fahrten durch diverse Städte.
“Nvidia has been creating new ways to generate interactive graphics for 25 years – and this is the first time we can do this with a neural network,” Catanzaro said. “Neural networks – specifically – generative models are going to change the way graphics are created.”
…
“One of the main obstacles developers face when creating virtual worlds, whether for game development, telepresence, or other applications is that creating the content is expensive. This method allows artists and developers to create at a much lower cost, by using AI that learns from the real world,” Catanzaro said.
Das Ergebnis ist schon ziemlich beeindruckend und wird vor allem Entwicklern von Apps, Spielen oder VR-Anwendungen helfen, Zeit beim Rendering einzusparen und nicht Model für Model einzeln zusammenzusetzen. Nvidia hat auf Basis der KI eine kleine Fahr-Anwendung programmiert, die auf der Tenso Core GPU läuft und aktuell auf der NeurIPS-Messe in Montreal gezeigt wird.
Die KI analysiert die Struktur des Bildes und zerlegt diese in die sichtbaren Objekte wie beispielsweise Autos, Menschen, Gebäude etc. Erst dann werden die Objekte mit den entsprechenden Texturen gefüllt, welche die KI aus den gelernten Bildern entnimmt. Das Ergebnis ist eine virtuelle Landschaft, die schnell bearbeitet werden kann.
Da die Technologie noch in den Kinderschuhen steckt, kann man zum jetzigen Zeitpunkt noch nicht sagen, wann die breite Masse Zugriff auf die Funktionen bekommt.
