Über 120 Jahre alter Film mit KI-Unterstützung zu 4K und 60 fps umgewandelt

Ein YouTuber namens Denis Shiryaev ist bisher auf der Plattform kaum aufgefallen, konnte nun aber einen viralen Hit landen: Er hat die Filmaufnahme „L’Arrivée d’un train en gare de La Ciotat“ aus dem Jahr 1895 zu 4K und 60 fps konvertiert. Aufgenommen wurde der 50-sekündige Clip von den französischen Pionieren des Filmemachens, den Lumière-Brüdern.

Der kurze Film ist auf 35-mm-Film im Format 1,33:1 entstanden und wurde 1896 erstmals öffentlich gezeigt. Damals war es für die Menschen etwas völlig Neues, derartige Aufzeichnungen ansehen zu können. So gibt es die Urban Legend, dass die ersten Zuschauer aus Angst aus der Vorführung stürmten, da sie annahmen, ein echter Zug würde auf sie zukommen. Mit KI-Unterstützung hat Shiryaev das alte Video nun eben zu 4K und 60 fps umgewandelt. Unten seht ihr zunächst einmal das Original.

Die Aufnahme ist aufgrund des Alters natürlich nicht gerade Referenzmaterial. Damals nutzte man noch anderes Filmmaterial und auch die Kameratechnik war 1895 freilich auf einem anderen Niveau als heute. Unten könnt ihr dann sehen, wie sich die neue Version so macht. Das Bild wurde nicht nur zu 4K hochskaliert und zu 60 fps umgewandelt, sondern auch nachgeschärft und stabilisiert. Insgesamt wird der Clip dadurch aus heutiger Sicht wesentlich ansehnlicher – oder was meint ihr?

Das Ergebnis ist meines Erachtens durchaus beeindruckend. Wenig begeistert bin ich jedoch von der Konvertierung zu 60 fps, da die Bewegungen sehr künstlich aussehen und den Umwandlungsprozess zu keinem Zeitpunkt verschleiern können. Wer genauer hinsieht, wird auch noch andere Artefakte entdecken, welche dem geschulten Auge verraten, was im Hintergrund passiert ist. Dennoch ist „L’Arrivée d’un train en gare de La Ciotat“ in 4K ein beeindruckendes Beispiel dafür, mit wie wenig Aufwand sich mittlerweile durchaus beeindruckende Resultate erzielen lassen.

Gefällt dir der Artikel? Dann teile ihn mit deinen Freunden.

Avatar-Foto

Hauptberuflich hilfsbereiter Technik-, Games- und Serien-Geek. Nebenbei Doc in Medienpädagogik und Möchtegern-Schriftsteller. Hofft heimlich eines Tages als Ghostbuster sein Geld zu verdienen oder zumindest das erste Proton Pack der Welt zu testen. Mit geheimniskrämerischem Konto auch bei Facebook zu finden. PayPal-Kaffeespende an den Autor.

Neueste Beiträge

Mit dem Absenden eines Kommentars stimmst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.

76 Kommentare

  1. Das ist sehr hübsch. Aber unrealistisch. Die Bremsen werden arg gequietscht haben. Das Geräusch des Dampfkessels müsste mehr zu hören sein. Und vor allem: Auch damals haben die Leute in Farbe gesehen. Eine Colorierung wäre auch noch nötig gewesen.

    • Das Video gibt es auch nachcoloriert. Sieht trotzdem nicht besonders gut gemacht aus dank der massiven Artefakte und dem künstlichen 60fps mit Drops. Hätte man sich sparen können.

    • Damals war der Stummfilm noch recht trendy. 😉 Eine Colorierung oder Nachvertonung wäre zudem eher eine (überflüssige) Fälschung des Originals. 😉

      • Übrigens was du als das „Geräusch der Dampfkessels“ bezeichnet, war lediglich das Eigengeräusch des Projektors:

        Zitat: „Obwohl der Film-Zug in flimmerndem Schwarzweiß (also nicht in den Naturfarben und Naturdimensionen) auf die Zuschauermengen losraste und obwohl das einzige Geräusch, das ihn begleitete, das monotone Klappern der Projektionszahnräder in der Filmperforierung war, fühlten die Zuschauer sich von dem Zug körperlich bedroht und reagierten panisch.“

        Quelle: https://www.spiegel.de/spiegel/print/d-13687466.html

        • Professor Trommelfeuer says:

          Quelle: “Spiegel“ ..Ouch,grober Fehler weil dieses Medium ist grober Unfug und zudem nicht erst seit Claas Relotius vollkommen unglaubwürdig. Medien-Experten bezeichnen den Spiegel auch als “BILD“ für Intellektuelle.

          • Psychologen bezeichnen solche Kommentare auch als sinnfreies Sprechblasengeblubber von Wichtigtuern.

            • Macht nichts, den Spiegel wird es nicht mehr lange geben. Das nennt man dann Insolvenz.

              So unpolitischen Kram, kann man noch durchehen lassen. Wichtig ist nur, dass der Werbeblocker aktiv ist, damit die nichts verdienen.

              Die Ergebnisse sind schon erstaunlich. Ich frage mich wann wir so weit sind, dass wir Realität von Fiktion nicht mehr unterscheiden können.

      • Dein Problem besteht worin genau? Der Satz ist grammatikalisch einwandfrei und völlig korrekt formuliert. Wenn du wirklich über den gestolpert sein solltest, dürfte das Problem ausschließlich fehlendes Textverständnis auf deiner Seite sein…

        • StR Geigenwasser says:

          Gerne helfe ich: Grammatikalisch nicht einwandfrei ist der erste Satz, weil in Konditionalsätzen das Verb am Schluss steht und sie zudem mit einem Komma abgetrennt werden. (Wie hier vorgeführt.) Von wegen Professor…

      • Britta Hartmann says:

        Die Frage des „Originals“ ist beim Film ja eine schwierige. Und tatsächlich waren Handkolorierung, Tinting und Toning gängige Praxen, um die frühen Filme farbig zu gestalten. Für die Handkolorierung waren in der Fabrik der Gebr. Lumière Frauen verantwortlich, die mit winzigen Pinseln gearbeitet haben.
        Alles zu historischer Filmfarbpraxis hier:
        https://filmcolors.org/

    • So langsam, wie der Zug bremst, müssen die Bremsen nicht unbedingt großartig gequietscht haben.

    • …dann mach eine

    • FabianNeidhardt says:

      Hi all! This video has recently been getting a lot of attention from the media (something of a shock to me). In some articles they are crediting me for having done something unique, but in my opinion this is unfair. Anyone can repeat this process with algorithms that are currently published on Github; all of them are in the video description. Credit should go to DIAN, Topaz AI, ESRGAN, Waifu2x, DeOldify, Anime 4K and other developers who are part of the worldwide ML-community and contributing to humanity by making these algorithms publicly available.

      Thus, for future reference, you do not need to ask my permission to use this video; you can do with it whatever you want Welcome to the future, friends
      des ist der Orginal post von 4 Tagen unter dem video

      • hallo Fabian, mich interessiert wie Du das gemacht hast und was mit der Technik noch alles möglich ist. IWir arbeiten für unsere Dokumentarfilme oft mit altem Filmmaterial und da wünsche ich mir öfter einer solche restaurierungsmöglichkeit. Hast Du Interese mal zu reden? Danke für Kontakt aufnahme! cay (at)agdok.de

    • Kann ich nicht. says:

      Ich bekomme grade einen Lachflash. Dieser Mensch hat nur einen Film in 4K60 gefertigt. Der Film selbst hat nur Musik von damals und damit es etwas schöner wirkt, hat er ähnliche Geräusche dazu gelegt.
      Der Fil war damals in Schwarz/weiß oder besser gesagt, in Graustufen. Also wird er auch so weiter behandelt.
      Wenn du den Film in Farbe haben möchtest, dann nimm dir einen Buntstift und male es aus.
      Ich bekomme bei solchen Kommentaren den drang, die Leute mal kennen zu lernen….

    • Was für ein unfassbar dummer Kommentar. Darum geht es hier doch garnicht. Die Bildqualität einer FIlmaufnahme von 1895 wurde durch Algorithmen, also automatisiert, erheblich aufgebessert. Es lohnt sich garnicht ihnen überhaupt etwas darüber zu erklären. Vielleicht können sie sich ja zuerst durchlesen was 4K bedeutet. Aber hey, typisch deutsch, hauptsache über IRGENDETWAS meckern…

  2. hat zwar jetzt nix mit dem Video zu tun, aber der letzte Satz ist grammatikalisch einfach nur grauenvoll…
    „mit wie wenig Aufwand sich“ wtf

    • Ein paar Glyphen fehlen auch. Etwa „Die Aufnahm ist aufgrund des Alters[..]“ oder „Aufgenommen wurde der 50-sekündige Cli von den französischen Pionieren […]“. Vielleicht braucht es aber auch mal eine neue Tastatur… 😉

    • EIn äußerst uninteressanter Aspekt, hochverehrtester Herr Schriftgelehrter Lincoln!

    • Dein Problem besteht worin genau? Der Satz ist grammatikalisch einwandfrei und völlig korrekt formuliert. Wenn du wirklich über den gestolpert sein solltest, dürfte das Problem ausschließlich fehlendes Textverständnis auf deiner Seite sein…

      • Der Satz ist vielleicht von der Grammatik her richtig, aber nicht besonders „elegant“. Ein leichtes aus dem Tritt kommen (man muss ja nicht gleich stolpern) habe ich auch bemerkt.

        Statt „…ein beeindruckendes Beispiel dafür, mit wie wenig Aufwand sich mittlerweile durchaus beeindruckende Resultate erzielen lassen.“
        klingt „…ein beeindruckendes Beispiel dafür, wie sich mit wenig Aufwand mittlerweile durchaus beeindruckende Resultate erzielen lassen.“ deutlich geschmeidiger, mbMn.

        • Rolf Magnus says:

          Damit hast du aber die Bedeutung geändert. Aus dem Tritt gekommen bin ich beim Original auch nicht. Man könnte es natürlich etwas eloquenter formulieren: „… mit welch geringem Aufwand …“. Oder ganz anders: „…wie wenig Aufwand mittlerweile für durchaus beeindruckende Ergebnisse erforderlich ist“.

        • Klugscheißer

  3. Mega beeindruckend. Danke fürs Teilen.

    • Stimme völlig zu. Einfach wow.
      Ich seh hier nichts zum Meckern sondern einfach eine Menge Hingabe.
      PS: Ich hab teuer Geld bezahlt für die Neuaufführung von Metropolis 🙂 man hätte das Material mal in die entsprechende Community geben sollen.

      • Da hatten ja aber auch gut 15 Minuten gefehlt, die man aus wirklich mies degeneriertem Material retten musste.

      • Jup, finde es auch toll und beeindruckend.

      • Hallo SteveF,

        Dein Kommentar zeugt von nicht allzu großer Sachkenntnis. Die Restauration von „Metropolis“ fand vor 20 Jahren mit den damals zur Verfügung stehenden, technischen Mitteln statt. Die Bemerkung, man hätte das Material an die entsprechende Community geben sollen, ist – mit Verlaub – Unfug. Allein der Scan des äußert fragilen Filmmaterials war problematisch genug. Das Material war verkratzt, hatte Flecken, war von Schimmel befallen, zerrissen, verwellt und geschrumpft, und stellenweise war die Perforation weggebröselt. Jeden Tag gab es neue Probleme, so dass immer wieder experimentiert wurde und sogar der Scanner umgebaut werden musste, um überhaupt das Material überhaupt digitalisieren zu können. Und dann die aufwendige und extrem mühselige Retusche, mit manchmal über 100 Klicks an einem einzigen Frame!
        Sinn einer Filmrestaurierung ist, das Original so perfekt wie möglich nachzubilden. Ich lese hier in anderen Kommentaren, dass das Material von damals „nicht so gut“ gewesen sei. Das ist Unfug. Es gibt über hundert Jahe altes Filmmaterial, auch bei Metropolis, wo man noch jede Pore auf der Haut erkennt. Solche Details zu erhalten und dabei den Dreck wegzubekommen, das ist die eigenliche Kunst. Und ist auch heute noch – trotz modernster Computertechnik – mit sehr, sehr viel „Handarbeit“ verbunden. Eine Software, auch professionelle wie z.B. von Diamant https://www.hs-art.com/index.php/solutions/diamant-film ersetzt nicht den Operator, heißt es doch schon bei Metropolis „Es muss ein Mensch an der Maschine sein“.
        In einer statischen Einstellung funktionieren automatische Filter recht gut. Die Software vergleicht Helligkeits- und Farbwerte mit dem Filmbild davor und danach. Wenn jetzt plötzlich in einem Frame an einer Stelle ein Fleck ist und im Bild davor und danach da kein Fleck zu sehen ist, spricht vieles dafür, dass es sich bei dem Fleck um einen Bildfehler handelt. Der wird dann automatisch entfernt. Problematisch wird es bei schnellen Bewegungen, Wassertropfen, etc. Ich konstruiere mal ein zugegebenermaßen ziemlich willkürliches Beispiel: In einem altern verkratzten Film läuft jemand durch ein Schneegestöber und wirft Konfetti in die Luft. Die Software ist dann überfordert. Resultat: die meisten Flocken werden eliminiert, genauso wie das Konfetti weitestgehend, da die Software das alles als Bildfehler interpretiert. Der Restaurator muss an den Stellen, wo die Software versagt und Artefakte verursacht hat, per Hand an den betreffenden Stellen im Frame das Original wieder zurückholen und eventuelle Kratzer, Flecken, manuell beseitigen.
        Irgendeine Sofware zu benutzen, die alles plattfiltert, kann jeder – genauso wie dumm daherlabern.
        PS: Ich kenne den Hauptverantwortlichen, der damals „Metropolis“ digitalisiert und restauriert hat, und habe selbst 20 Jahre als Filmrestaurator gearbeitet.

  4. Hm, ist wohl eher Machine Learning statt KI am Werk gewesen, oder sehe ich das falsch? Dennoch interessant.

  5. Interessant aber auch wie elegant und aufwendig gekleidet die Menschen damals auf dem Bahnsteig herumliefen. Heute ziehen die Bahnhöfe da ja eher ein anderes Publikum an.

    • Ja diese Schlipsträger sind mir auch ein Dorn im Auge, diese elendlichen Yuppies und Banker… 😉

    • Damals liefen die Menschen allgmein immer gut gekleidet rum, sofern sie nicht auf Arbeit waren. Wenn ich alte Fotos von meinen Urgroßeltern sehe; ohne Anzug, Hut und Stock verließ man da nicht das Haus. Elegantes Auftreten hat ja heute leider seltenheitswert.

  6. Grad erst wieder beim Einkaufen gesehen und gestaunt, wieviele Leute meinen, in Jogginghose rumrennen zu müssen. Alle Alterschichten. Krass und traurig zugleich.

  7. nutzlos, da der Kollege das HDR vergessen hat.

  8. Welche irrwiziger Vergleich, Du vergleichst tatsächich ein 240p mit 4K Auflösung? Dazu hat er vermutlich das Analoge Bildmaterial gehabt und entsprechend eingescannt und bearbeitet oder zumindest etwas das NICHT der 240p Mist war.
    Glaub das kann jedes Schulkind beantworten warum der Vergleich absoluter Müll ist.
    Wie kommt man nur auf solch Blödsinn?

  9. Ist genauso unrealistisch, wie nachcolorierte Filme.

  10. Der Film ist gut gemacht, ich erwarte jetzt von allen die hier ihr bestes an Kritik gegeben haben es noch besser zu machen.
    Ich bin gespannt wer es von euch besser kann, also nicht mit schreiben sondern mit Machen ;-).

  11. Arno Seitzinger says:

    Ich finde das Ergebnis sehr beachtlich. Auch bei dem nachcolorierten Film.
    Das, was wir früher so als VHS-Aufnahme gesehen haben, war nach 2 Mal kopieren deutlich schlechter.

  12. Daß es nicht gleichwertig zu heutigen Filmaufnahmen ist und dass man aus Aufnahmen der letzten 30 oder 40 Jahre, noch mehr rausholen hätte können, versteht sich ja wohl von selbst. Aber hier geht es nicht um 30 Jahre altes Material, sondern um Aufnahmen die über 100 Jahre als sind und wenn man sich dieses Originalmaterial im direkten Vergleich ansieht, dann ist das letztendliche Ergebnis hier definitiv eine sehr gute Arbeit. Deshalb verstehe ich einige der Kritiken hier nicht so ganz, schließlich war das damalige Material logischerweise extremst schlecht. Nun noch eine realistische Einfärbung, dann ist es noch besser.

    • Sehe ich genauso. Finde es ebenfalls eine sehr gute Arbeit. Ich frage mich, ob einer von denen die die Arbeit kritisieren, es besser machen könnten.

  13. Uri Nierbecken 47 says:

    Puuuuh nochmal Glück gehabt. Bin eben erstmal für ne halbe Stunde aus meiner Wohung geflohen, weil ich dachte, dieser Zug fährt in echt auf mich zu. Ich war leicht panisch und floh in der Unterhose erstmal zur (hübschen) Nachbarin rüber und dann runter auf die Straße. Komischerweise haben die anderen Leute meine Erklärung nicht verstanden, die meinten immer zu mir: „Das ist doch nur ein Film.“ Kapiere ich nicht so ganz, aber okay, wenn die von dem Zug überfahren werden wollen, dann bitte, dann ist es eben deren Sache. Ich kann nicht auf jeden aufpassen und ich hatte alle gewarnt.

  14. Ich finde das Ergebnis beeindruckend. Nur qui bono? Wem nützt das? Es sind ja nun nicht gerade Aufnahmen, die einzigartig und einmalig sind, wie meinetwegen ein Vulkanausbruch. Die Einfahrt einer Dampflok kann man auch heute noch filmen.

    • Ich finde das drumherum interessant, wie die Leute aussahen und was sie trugen. Das ist schon ein Mehrwert.

    • Im Ernst? Die Restauration von alten Dokumenten ist nutzlos, wenn man die auch neu erstellen kann?
      D.h. wenn ich mir mit der Unabhängigkeitserklärung die Nase putze, dann ist das nicht schlimm, weil die kann man ja abschreiben?

  15. Mag sein, dass das geschulte Auge Mängel an der Filmbearbeitung sieht, aber ich als Otto-Normal bin echt begeistert, was heutzutage alles mit der Technik zu bewerkstelligen ist! Danke für den interessanten Artikel!

  16. Ich finde die Umsetzung Klasse.
    Klar gibt es Artefakte und Ungereimtheiten aber man sollte nicht vergessen das die Skalierung und Detailberechnung ungfähr so sind, als ob man nur ein dutzend Buchstaben hat und damit die Bibel neu schreiben soll.

    Auch wenn es noch Nachbesserungsbedarf gib,t so ist das Ergebins schon sehr beeindruckend.

  17. Ich bin beeindruckt. Ob hier Ki eingesetzt wurde? Keine Anhnung. Nicht jedes upscaling, arrangieren der benachbarten Pixel ist KI. Mit 60 FPS bzw. HFR kann ich mich nicht anfreunden. da geht der „Film“ Look verloren

  18. Schade um all die Besserwissis. Wer nur ein einziges Mal versucht hat, ein altes „VHS-oder Super8-Flimmervideo“ zu optimieren, kann über das Ergebnis des obigen restaurierten Films nur staunen. Meine volle Hochachtung. Möchte gerne mehr über die angewendeten Techniken wissen. Schade, dass so wenige selbsternannte Fachleute anderen ihren Erfolg gönnen können.

    • André Westphal says:

      In der Video-Beschreibung nennt der YouTuber, was er unter anderem genutzt hat:

      Zum Hochskalieren: Gigapixel AI – Topaz Labs
      Zum Konvertieren zu 60 fps: DAIN

  19. Ich finde es sehr bemerkenswert wie nicht nur die Schärfe gewonnen hat, das Rauschen entfernt wurde und Verwacklungen beseitigt wurden, sondern auch das es tatsächlich mehr realistische Details in der Überarbeitung zu sehen gibt, zB in den Gesichtern der Personen. Ich bin auch immer wieder überrascht was die AI Funktion „Deep Fusion“ von Apple aus Bildern noch rausholt und verbessert, allerdings in seltenen Fällen auch überschärft.

  20. Ich finde, es sieht wirklich sehr gut aus. Da kommt mir eine Frage…: Könnte man Filme so randern das sie begehbar werden mit einer VR Brille?

Es werden alle Kommentare moderiert. Lies auch bitte unsere Kommentarregeln:

Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen. Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte - gerne auch mit Humor.

Du willst nichts verpassen?

Du hast die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den Hauptfeed abonnieren.