Über 120 Jahre alter Film mit KI-Unterstützung zu 4K und 60 fps umgewandelt
von André Westphal | 76 Kommentare
Ein YouTuber namens Denis Shiryaev ist bisher auf der Plattform kaum aufgefallen, konnte nun aber einen viralen Hit landen: Er hat die Filmaufnahme „L’Arrivée d’un train en gare de La Ciotat“ aus dem Jahr 1895 zu 4K und 60 fps konvertiert. Aufgenommen wurde der 50-sekündige Clip von den französischen Pionieren des Filmemachens, den Lumière-Brüdern.
Der kurze Film ist auf 35-mm-Film im Format 1,33:1 entstanden und wurde 1896 erstmals öffentlich gezeigt. Damals war es für die Menschen etwas völlig Neues, derartige Aufzeichnungen ansehen zu können. So gibt es die Urban Legend, dass die ersten Zuschauer aus Angst aus der Vorführung stürmten, da sie annahmen, ein echter Zug würde auf sie zukommen. Mit KI-Unterstützung hat Shiryaev das alte Video nun eben zu 4K und 60 fps umgewandelt. Unten seht ihr zunächst einmal das Original.
Die Aufnahme ist aufgrund des Alters natürlich nicht gerade Referenzmaterial. Damals nutzte man noch anderes Filmmaterial und auch die Kameratechnik war 1895 freilich auf einem anderen Niveau als heute. Unten könnt ihr dann sehen, wie sich die neue Version so macht. Das Bild wurde nicht nur zu 4K hochskaliert und zu 60 fps umgewandelt, sondern auch nachgeschärft und stabilisiert. Insgesamt wird der Clip dadurch aus heutiger Sicht wesentlich ansehnlicher – oder was meint ihr?
Das Ergebnis ist meines Erachtens durchaus beeindruckend. Wenig begeistert bin ich jedoch von der Konvertierung zu 60 fps, da die Bewegungen sehr künstlich aussehen und den Umwandlungsprozess zu keinem Zeitpunkt verschleiern können. Wer genauer hinsieht, wird auch noch andere Artefakte entdecken, welche dem geschulten Auge verraten, was im Hintergrund passiert ist. Dennoch ist „L’Arrivée d’un train en gare de La Ciotat“ in 4K ein beeindruckendes Beispiel dafür, mit wie wenig Aufwand sich mittlerweile durchaus beeindruckende Resultate erzielen lassen.
Wird geladen ...
Das ist sehr hübsch. Aber unrealistisch. Die Bremsen werden arg gequietscht haben. Das Geräusch des Dampfkessels müsste mehr zu hören sein. Und vor allem: Auch damals haben die Leute in Farbe gesehen. Eine Colorierung wäre auch noch nötig gewesen.
Das Video gibt es auch nachcoloriert. Sieht trotzdem nicht besonders gut gemacht aus dank der massiven Artefakte und dem künstlichen 60fps mit Drops. Hätte man sich sparen können.
@ Andreas: Dann solltest du vielleicht das Original anschauen. Dann ist es der Hammer!!!!
Gibt es einen Link dazu?
Als nachcoloriertes fand ich https://www.youtube.com/watch?v=MKpckCDye1o
Ui, das ist aber übel. Das ist nicht coloriert, das ist einfach nur fleckig. Da hat er sich aber keine Mühe gegeben. Dann lieber s/w lassen.
Die hier ist wesentlich besser:
https://www.youtube.com/watch?v=EqbOhqXHL7E
Damals war der Stummfilm noch recht trendy. 😉 Eine Colorierung oder Nachvertonung wäre zudem eher eine (überflüssige) Fälschung des Originals. 😉
Übrigens was du als das „Geräusch der Dampfkessels“ bezeichnet, war lediglich das Eigengeräusch des Projektors:
Zitat: „Obwohl der Film-Zug in flimmerndem Schwarzweiß (also nicht in den Naturfarben und Naturdimensionen) auf die Zuschauermengen losraste und obwohl das einzige Geräusch, das ihn begleitete, das monotone Klappern der Projektionszahnräder in der Filmperforierung war, fühlten die Zuschauer sich von dem Zug körperlich bedroht und reagierten panisch.“
Quelle: https://www.spiegel.de/spiegel/print/d-13687466.html
Quelle: “Spiegel“ ..Ouch,grober Fehler weil dieses Medium ist grober Unfug und zudem nicht erst seit Claas Relotius vollkommen unglaubwürdig. Medien-Experten bezeichnen den Spiegel auch als “BILD“ für Intellektuelle.
Psychologen bezeichnen solche Kommentare auch als sinnfreies Sprechblasengeblubber von Wichtigtuern.
Macht nichts, den Spiegel wird es nicht mehr lange geben. Das nennt man dann Insolvenz.
So unpolitischen Kram, kann man noch durchehen lassen. Wichtig ist nur, dass der Werbeblocker aktiv ist, damit die nichts verdienen.
Die Ergebnisse sind schon erstaunlich. Ich frage mich wann wir so weit sind, dass wir Realität von Fiktion nicht mehr unterscheiden können.
Dein Problem besteht worin genau? Der Satz ist grammatikalisch einwandfrei und völlig korrekt formuliert. Wenn du wirklich über den gestolpert sein solltest, dürfte das Problem ausschließlich fehlendes Textverständnis auf deiner Seite sein…
Gerne helfe ich: Grammatikalisch nicht einwandfrei ist der erste Satz, weil in Konditionalsätzen das Verb am Schluss steht und sie zudem mit einem Komma abgetrennt werden. (Wie hier vorgeführt.) Von wegen Professor…
Die Frage des „Originals“ ist beim Film ja eine schwierige. Und tatsächlich waren Handkolorierung, Tinting und Toning gängige Praxen, um die frühen Filme farbig zu gestalten. Für die Handkolorierung waren in der Fabrik der Gebr. Lumière Frauen verantwortlich, die mit winzigen Pinseln gearbeitet haben.
Alles zu historischer Filmfarbpraxis hier:
https://filmcolors.org/
So langsam, wie der Zug bremst, müssen die Bremsen nicht unbedingt großartig gequietscht haben.
…dann mach eine
Hi all! This video has recently been getting a lot of attention from the media (something of a shock to me). In some articles they are crediting me for having done something unique, but in my opinion this is unfair. Anyone can repeat this process with algorithms that are currently published on Github; all of them are in the video description. Credit should go to DIAN, Topaz AI, ESRGAN, Waifu2x, DeOldify, Anime 4K and other developers who are part of the worldwide ML-community and contributing to humanity by making these algorithms publicly available.
Thus, for future reference, you do not need to ask my permission to use this video; you can do with it whatever you want Welcome to the future, friends
des ist der Orginal post von 4 Tagen unter dem video
hallo Fabian, mich interessiert wie Du das gemacht hast und was mit der Technik noch alles möglich ist. IWir arbeiten für unsere Dokumentarfilme oft mit altem Filmmaterial und da wünsche ich mir öfter einer solche restaurierungsmöglichkeit. Hast Du Interese mal zu reden? Danke für Kontakt aufnahme! cay (at)agdok.de
Ich bekomme grade einen Lachflash. Dieser Mensch hat nur einen Film in 4K60 gefertigt. Der Film selbst hat nur Musik von damals und damit es etwas schöner wirkt, hat er ähnliche Geräusche dazu gelegt.
Der Fil war damals in Schwarz/weiß oder besser gesagt, in Graustufen. Also wird er auch so weiter behandelt.
Wenn du den Film in Farbe haben möchtest, dann nimm dir einen Buntstift und male es aus.
Ich bekomme bei solchen Kommentaren den drang, die Leute mal kennen zu lernen….
Was für ein unfassbar dummer Kommentar. Darum geht es hier doch garnicht. Die Bildqualität einer FIlmaufnahme von 1895 wurde durch Algorithmen, also automatisiert, erheblich aufgebessert. Es lohnt sich garnicht ihnen überhaupt etwas darüber zu erklären. Vielleicht können sie sich ja zuerst durchlesen was 4K bedeutet. Aber hey, typisch deutsch, hauptsache über IRGENDETWAS meckern…
hat zwar jetzt nix mit dem Video zu tun, aber der letzte Satz ist grammatikalisch einfach nur grauenvoll…
„mit wie wenig Aufwand sich“ wtf
Ein paar Glyphen fehlen auch. Etwa „Die Aufnahm ist aufgrund des Alters[..]“ oder „Aufgenommen wurde der 50-sekündige Cli von den französischen Pionieren […]“. Vielleicht braucht es aber auch mal eine neue Tastatur… 😉
Hey, danke für den Hinweis, hab ich korrigiert!
EIn äußerst uninteressanter Aspekt, hochverehrtester Herr Schriftgelehrter Lincoln!
Dein Problem besteht worin genau? Der Satz ist grammatikalisch einwandfrei und völlig korrekt formuliert. Wenn du wirklich über den gestolpert sein solltest, dürfte das Problem ausschließlich fehlendes Textverständnis auf deiner Seite sein…
Der Satz ist vielleicht von der Grammatik her richtig, aber nicht besonders „elegant“. Ein leichtes aus dem Tritt kommen (man muss ja nicht gleich stolpern) habe ich auch bemerkt.
Statt „…ein beeindruckendes Beispiel dafür, mit wie wenig Aufwand sich mittlerweile durchaus beeindruckende Resultate erzielen lassen.“
klingt „…ein beeindruckendes Beispiel dafür, wie sich mit wenig Aufwand mittlerweile durchaus beeindruckende Resultate erzielen lassen.“ deutlich geschmeidiger, mbMn.
Damit hast du aber die Bedeutung geändert. Aus dem Tritt gekommen bin ich beim Original auch nicht. Man könnte es natürlich etwas eloquenter formulieren: „… mit welch geringem Aufwand …“. Oder ganz anders: „…wie wenig Aufwand mittlerweile für durchaus beeindruckende Ergebnisse erforderlich ist“.
Klugscheißer
Mega beeindruckend. Danke fürs Teilen.
Stimme völlig zu. Einfach wow.
Ich seh hier nichts zum Meckern sondern einfach eine Menge Hingabe.
PS: Ich hab teuer Geld bezahlt für die Neuaufführung von Metropolis 🙂 man hätte das Material mal in die entsprechende Community geben sollen.
Da hatten ja aber auch gut 15 Minuten gefehlt, die man aus wirklich mies degeneriertem Material retten musste.
Jup, finde es auch toll und beeindruckend.
Hallo SteveF,
Dein Kommentar zeugt von nicht allzu großer Sachkenntnis. Die Restauration von „Metropolis“ fand vor 20 Jahren mit den damals zur Verfügung stehenden, technischen Mitteln statt. Die Bemerkung, man hätte das Material an die entsprechende Community geben sollen, ist – mit Verlaub – Unfug. Allein der Scan des äußert fragilen Filmmaterials war problematisch genug. Das Material war verkratzt, hatte Flecken, war von Schimmel befallen, zerrissen, verwellt und geschrumpft, und stellenweise war die Perforation weggebröselt. Jeden Tag gab es neue Probleme, so dass immer wieder experimentiert wurde und sogar der Scanner umgebaut werden musste, um überhaupt das Material überhaupt digitalisieren zu können. Und dann die aufwendige und extrem mühselige Retusche, mit manchmal über 100 Klicks an einem einzigen Frame!
Sinn einer Filmrestaurierung ist, das Original so perfekt wie möglich nachzubilden. Ich lese hier in anderen Kommentaren, dass das Material von damals „nicht so gut“ gewesen sei. Das ist Unfug. Es gibt über hundert Jahe altes Filmmaterial, auch bei Metropolis, wo man noch jede Pore auf der Haut erkennt. Solche Details zu erhalten und dabei den Dreck wegzubekommen, das ist die eigenliche Kunst. Und ist auch heute noch – trotz modernster Computertechnik – mit sehr, sehr viel „Handarbeit“ verbunden. Eine Software, auch professionelle wie z.B. von Diamant https://www.hs-art.com/index.php/solutions/diamant-film ersetzt nicht den Operator, heißt es doch schon bei Metropolis „Es muss ein Mensch an der Maschine sein“.
In einer statischen Einstellung funktionieren automatische Filter recht gut. Die Software vergleicht Helligkeits- und Farbwerte mit dem Filmbild davor und danach. Wenn jetzt plötzlich in einem Frame an einer Stelle ein Fleck ist und im Bild davor und danach da kein Fleck zu sehen ist, spricht vieles dafür, dass es sich bei dem Fleck um einen Bildfehler handelt. Der wird dann automatisch entfernt. Problematisch wird es bei schnellen Bewegungen, Wassertropfen, etc. Ich konstruiere mal ein zugegebenermaßen ziemlich willkürliches Beispiel: In einem altern verkratzten Film läuft jemand durch ein Schneegestöber und wirft Konfetti in die Luft. Die Software ist dann überfordert. Resultat: die meisten Flocken werden eliminiert, genauso wie das Konfetti weitestgehend, da die Software das alles als Bildfehler interpretiert. Der Restaurator muss an den Stellen, wo die Software versagt und Artefakte verursacht hat, per Hand an den betreffenden Stellen im Frame das Original wieder zurückholen und eventuelle Kratzer, Flecken, manuell beseitigen.
Irgendeine Sofware zu benutzen, die alles plattfiltert, kann jeder – genauso wie dumm daherlabern.
PS: Ich kenne den Hauptverantwortlichen, der damals „Metropolis“ digitalisiert und restauriert hat, und habe selbst 20 Jahre als Filmrestaurator gearbeitet.
Hm, ist wohl eher Machine Learning statt KI am Werk gewesen, oder sehe ich das falsch? Dennoch interessant.
Beide Begriffe halte ich für überstrapaziert, hier handelt es sich weder um das eine nach das andere oder wurde zumindest nicht präzisiert. „Upscaling“ hätte sicherlich genügt. Dennoch wie bereits gesagt durchaus interessant… 😉
Reines Upscaling dürfte nicht ausreichend sein.
Mag sein, aber gibt es dazu mehr Informationen? Im Artikel steht zur Technik lediglich „Das Bild wurde nicht nur zu 4K hochskaliert und zu 60 fps umgewandelt, sondern auch nachgeschärft und stabilisiert.“ Damit quasi nichts über „Machine Learning“ oder gar „KI“… 😉
ML ist ein Teilbereich von KI so wie KI Teilbereich von Informatik ist. Hier wurden nicht einfach „stumpfe“ Upscaling-Algos angwendet, sondern trainierte Datasets.
Sowas zBsp:
https://github.com/open-mmlab/mmsr
https://topazlabs.com/gigapixel-ai/
Bekannt ist auch waifu2x
KI ist ein inflationär verwendeter Begriff. Von echter KI sind wir noch weit entfernt. Zudem ist mWn ML kein Teil von KI. Hab gerade das gefunden:
https://www.datarevenue.com/de-blog/der-unterschied-zwischen-machine-learning-und-kuenstlicher-intelligenz
Muß es selber aber noch lesen.
Kalle hat demnach mit Teilbereich recht.
Ja, habe auch gerade gefragt, was mein intelligentes Ladegrät mir wohl für hochkomplexe Fragen beantworten kann.
KI wird so inflationär benutzt, da es nicht viel aussagt. Ein Teil von KI ist nun mal Machine Learning (genauso wie Expertensysteme usw). KI kommt vom englischen Artifical Intelligence und verliert in der Übersetzung, deswegen die Verwirrung. Künstliche Intelligenz ist eine Übersetzung, vorgetäuschte/nachgeahmte Intelligenz eine andere. KI hat nichts damit zu tun, das Intelligenz komplett abgebildet wird, es soll es nur nachahmen.
nenn es doch einfach „Algorithmen“, alles andere ist doch überkandidelt 😉
Nope, es ist kein Algorithmus. Denk kurz drüber nach.
Eben, er schreibt ja „Algorithmen“. Viel mehr steckt normalerweise nicht dahinter.
Blockchain, vergiss die Blockchain nicht!!!
Interessant aber auch wie elegant und aufwendig gekleidet die Menschen damals auf dem Bahnsteig herumliefen. Heute ziehen die Bahnhöfe da ja eher ein anderes Publikum an.
Ja diese Schlipsträger sind mir auch ein Dorn im Auge, diese elendlichen Yuppies und Banker… 😉
Damals liefen die Menschen allgmein immer gut gekleidet rum, sofern sie nicht auf Arbeit waren. Wenn ich alte Fotos von meinen Urgroßeltern sehe; ohne Anzug, Hut und Stock verließ man da nicht das Haus. Elegantes Auftreten hat ja heute leider seltenheitswert.
Grad erst wieder beim Einkaufen gesehen und gestaunt, wieviele Leute meinen, in Jogginghose rumrennen zu müssen. Alle Alterschichten. Krass und traurig zugleich.
Karl ?! dachte Du lebst nicht mehr…. 😉
nutzlos, da der Kollege das HDR vergessen hat.
Welche irrwiziger Vergleich, Du vergleichst tatsächich ein 240p mit 4K Auflösung? Dazu hat er vermutlich das Analoge Bildmaterial gehabt und entsprechend eingescannt und bearbeitet oder zumindest etwas das NICHT der 240p Mist war.
Glaub das kann jedes Schulkind beantworten warum der Vergleich absoluter Müll ist.
Wie kommt man nur auf solch Blödsinn?
Ist genauso unrealistisch, wie nachcolorierte Filme.
Der Film ist gut gemacht, ich erwarte jetzt von allen die hier ihr bestes an Kritik gegeben haben es noch besser zu machen.
Ich bin gespannt wer es von euch besser kann, also nicht mit schreiben sondern mit Machen ;-).
Ich finde das Ergebnis sehr beachtlich. Auch bei dem nachcolorierten Film.
Das, was wir früher so als VHS-Aufnahme gesehen haben, war nach 2 Mal kopieren deutlich schlechter.
Daß es nicht gleichwertig zu heutigen Filmaufnahmen ist und dass man aus Aufnahmen der letzten 30 oder 40 Jahre, noch mehr rausholen hätte können, versteht sich ja wohl von selbst. Aber hier geht es nicht um 30 Jahre altes Material, sondern um Aufnahmen die über 100 Jahre als sind und wenn man sich dieses Originalmaterial im direkten Vergleich ansieht, dann ist das letztendliche Ergebnis hier definitiv eine sehr gute Arbeit. Deshalb verstehe ich einige der Kritiken hier nicht so ganz, schließlich war das damalige Material logischerweise extremst schlecht. Nun noch eine realistische Einfärbung, dann ist es noch besser.
Sehe ich genauso. Finde es ebenfalls eine sehr gute Arbeit. Ich frage mich, ob einer von denen die die Arbeit kritisieren, es besser machen könnten.
Puuuuh nochmal Glück gehabt. Bin eben erstmal für ne halbe Stunde aus meiner Wohung geflohen, weil ich dachte, dieser Zug fährt in echt auf mich zu. Ich war leicht panisch und floh in der Unterhose erstmal zur (hübschen) Nachbarin rüber und dann runter auf die Straße. Komischerweise haben die anderen Leute meine Erklärung nicht verstanden, die meinten immer zu mir: „Das ist doch nur ein Film.“ Kapiere ich nicht so ganz, aber okay, wenn die von dem Zug überfahren werden wollen, dann bitte, dann ist es eben deren Sache. Ich kann nicht auf jeden aufpassen und ich hatte alle gewarnt.
Ich finde das Ergebnis beeindruckend. Nur qui bono? Wem nützt das? Es sind ja nun nicht gerade Aufnahmen, die einzigartig und einmalig sind, wie meinetwegen ein Vulkanausbruch. Die Einfahrt einer Dampflok kann man auch heute noch filmen.
Ich finde das drumherum interessant, wie die Leute aussahen und was sie trugen. Das ist schon ein Mehrwert.
Im Ernst? Die Restauration von alten Dokumenten ist nutzlos, wenn man die auch neu erstellen kann?
D.h. wenn ich mir mit der Unabhängigkeitserklärung die Nase putze, dann ist das nicht schlimm, weil die kann man ja abschreiben?
Mag sein, dass das geschulte Auge Mängel an der Filmbearbeitung sieht, aber ich als Otto-Normal bin echt begeistert, was heutzutage alles mit der Technik zu bewerkstelligen ist! Danke für den interessanten Artikel!
Ich finde die Umsetzung Klasse.
Klar gibt es Artefakte und Ungereimtheiten aber man sollte nicht vergessen das die Skalierung und Detailberechnung ungfähr so sind, als ob man nur ein dutzend Buchstaben hat und damit die Bibel neu schreiben soll.
Auch wenn es noch Nachbesserungsbedarf gib,t so ist das Ergebins schon sehr beeindruckend.
Ich bin beeindruckt. Ob hier Ki eingesetzt wurde? Keine Anhnung. Nicht jedes upscaling, arrangieren der benachbarten Pixel ist KI. Mit 60 FPS bzw. HFR kann ich mich nicht anfreunden. da geht der „Film“ Look verloren
Schade um all die Besserwissis. Wer nur ein einziges Mal versucht hat, ein altes „VHS-oder Super8-Flimmervideo“ zu optimieren, kann über das Ergebnis des obigen restaurierten Films nur staunen. Meine volle Hochachtung. Möchte gerne mehr über die angewendeten Techniken wissen. Schade, dass so wenige selbsternannte Fachleute anderen ihren Erfolg gönnen können.
In der Video-Beschreibung nennt der YouTuber, was er unter anderem genutzt hat:
Zum Hochskalieren: Gigapixel AI – Topaz Labs
Zum Konvertieren zu 60 fps: DAIN
Ich finde es sehr bemerkenswert wie nicht nur die Schärfe gewonnen hat, das Rauschen entfernt wurde und Verwacklungen beseitigt wurden, sondern auch das es tatsächlich mehr realistische Details in der Überarbeitung zu sehen gibt, zB in den Gesichtern der Personen. Ich bin auch immer wieder überrascht was die AI Funktion „Deep Fusion“ von Apple aus Bildern noch rausholt und verbessert, allerdings in seltenen Fällen auch überschärft.
Ich finde, es sieht wirklich sehr gut aus. Da kommt mir eine Frage…: Könnte man Filme so randern das sie begehbar werden mit einer VR Brille?