RAISR: Google sorgt für scharfe Bildvergrößerungen durch Machine Learning
Das Upsampling von niedrig aufgelösten Bildern ist entweder gut oder schnell, beides gleichzeitig in den seltensten Fällen. Diese Fälle könnten sich aber häufen, denn Google hat mit RAISR eine neue Methode, um Bilder nicht nur mit mehr Pixeln zu versehen, sondern dabei auch noch Details hervorzuheben, Details die bei herkömmlicher Berechnung meist verloren gehen. Das Mittel zum Zweck heißt wie so oft Machine Learning. Man kann RAISR (Rapid and Accurate Image Super-Resolution) mit Bildpaaren füttern, erlernt wird so ein Filter, der aus einem niedrig aufgelösten Bild ein hochaufgelöstes macht, ohne dabei so verschwommen zu wirken wie es beispielsweise bei der Anwendung von linearen Upsampling-Methoden der Fall ist.
Dieses Antrainieren der Filter, Google zeigt es an einem Beispiel mit 10000 Bildpaaren, dauerte eine Stunde, die Ergebnisse mit dieser Upsampling-Methode sind wesentlich besser. Durch die hohe Geschwindigkeit, die im Anschluss genutzt werden kann, können solche Berechnungen, also das Hochskalieren von Bildern, auch in Echtzeit auf Smartphones durchgeführt werden. Anwendungsgebiete dafür gibt es unterschiedliche. Man stelle sich nur einmal ein Bild vor, in das man weit hineinzoomen kann, ohne dabei nur noch Pixelbrei zu sehen.
Auch im Browser wäre eine solche Methode sinnvoll. Man könnte schlecht aufgelöste Bilder laden, die logischerweise weniger Daten übertragen, und diese dann direkt auf dem Smartphone „hochauflösend“ machen. Opera lädt bei Nutzung des Datensparmodus zum Beispiel bereits kleinere Bilder, diese könnte man mit RAISR theoretisch wieder „groß“ anzeigen, ohne dabei eine größere Datenübertragung zu benötigen.
Die technischen Details zu diesem Vorgang findet Ihr im Google Research Blog. Wieder einmal ein sehr schönes Beispiel, was man mit Machine Learning so anstellen kann. Vielleicht sehen wir den Einsatz von RAISR ja schon bald in einer wahrnehmbaren Umgebung, bessere Bilder dürften für viele Nutzer ja durchaus eine interessante Sache sein.
Und hier noch ein Beispiel, das die Qualität von RAISR eindrucksvoll zeigt. Oben normal, unten nach der Filterung mit RAISR, gerade in den Augen ist der Unterschied sehr deutlich zu erkennen:
Wird geladen ...
„Man stelle sich nur einmal ein Bild vor, in das man weit hineinzoomen kann, ohne dabei nur noch Pixelbrei zu sehen.“ Das ist ganz sicher nicht gemeint, die Technik kann nicht aus einem Pixel Details erkennen. Sie kann lediglich besser schärfen als herkömmliche Methoden.
Sieht aus wie Photoshop – Klarheit-Regler.
Und dafür Machine-Learning? xD
Ich muss dabei an denken, wo der Technik Nerd des aus einem mies verpixelten Bild einer Überwachungskamera plötzlich ein hochaufgelöstes Closeup mit allen nötigen Details zaubert 😀
Man sieht es doch an den US-Krimiserien, wie z.B. CSI, was die aus schrottigen Bildern und Videos für detailreiche Infos herbeizaubern. 😉
Ja, ja, Film und Serie. Da ist alles machbar. 🙂
@Fraggle: Ich weiß nicht in wie der Google Algorithmus funktioniert, aber es mit Machine Learning durchaus möglich mehr Details zu erzeugen als das original Bild herbekommt. Die Details werden mittels „Vermutungen“ vorgenommen, siehe dazu das wissenschaftliche Paper: https://arxiv.org/pdf/1601.06759v3.pdf ,hier wird eine Bildrekonstruktion vorgenommen bei statischen Bildern. Es wird gut ersichtlich, dass das rekonstruierte Bild durchaus detailiert und plausibel erscheint, aber nicht dem original entspricht.
so wie in Bladerunner 🙂
Dann kann man ja wohl hoffentlich bald, wie bei Staatsfeind #1, per Überwachungskamera in die Einkaufsbeutel der Kunden hineinschauen. ;D
Lustig, wie sich hier viele über Machine Learning amüsieren. Ich einigen Jahren werden die Witze darüber seltener werden.
Es klingt drohender, als ich es meine: Ihr werdet euch bald wundern.
Also „schätzt“ ein Rechner, wie das Bild vermutlich aussehen würde. Toll. Wieder ein Grund mehr nix mehr zu glauben, was man sieht, liest oder hört. Genauso wie bei den Covern der zeitschriften, wo z.B. Frauen abgebildet werden, die es gar nicht gibt, die nur Promis als Grundlage für ein Wünsch-dir-was-Bild sind.
Hier werden sich vorallem eine Menge Grafiker und Agenturen freuen die vom Kunden Word Dokumente mit 200x200px Fotos drin bekommen für das neue Firmen Plakat 😀
Kommen wir „Normal Bürger“ auch in den Genuss der Engine oder ist es noch im Versuchsstadium?
@Gerhard Regente
Ich bin mir sicher, dass das zur Zeit noch im Versuchsstadium ist, aber in den nächsten 5-10 Jahren auch Endkunden zur Verfügung steht. Maschine Learning macht seit ein paar Jahren enorme Fortschritte, nicht nur in den zu lösenden Aufgaben, sondern auch im Bereich Energieeffizienz/ Hardwareausnutzung.
Wo ist das PS-Plugin???
Finde die Leistung schon sehr gut. Und verstehe nicht, wieso manche meiner Vorredner da so abfällig reagieren.
Vorteil der neuen Methode ist ja nicht nur die Qualität, sondern auch die Geschwindigkeit, die es ermöglicht, das mal nebenher auf dem Smartphone zu erledigen.
Deswegen war Staatsfeind nr. 1 mein hassfilm nr.1 – Wehe das funktioniert bald!
Idee klingt schon mal nicht schlecht. Aber nur wenn das ganze auf den Handy z.B. passieren kann.Wenn es online gemacht werden muss, werden die Bilder wieder auf das Endgerät hochgeladen werden müssen. Also kein Vorteil bei der Datenübertragung.