Scaniverse 3.0 mit Gaussian-Splatting-Modus
von Mike Leitner | 10 Kommentare
Niantic, der Entwickler hinter Pokémon Go, hat ein Update für seine 3D-Scan-App Scaniverse veröffentlicht. Version 3.0 bringt auf iOS-Geräten die Unterstützung für 3D-Gaussian-Splatting – eine neuere Technik für bessere 3D-Scans, die lokal berechnet und ohne aufwendige Nachbearbeitung genutzt werden können. Ihre Stärke liegt in der Darstellung von Lichtreflexionen und -brechung. Dazu werden die Scans auch nicht auf eine Cloud hochgeladen.
Im Kern basieren sie auf der mathematischen Funktion der Gaußschen Glockenkurve. Sie ist einigen von euch sicher auch als Normalverteilung bekannt und wird auch in Spielen für Matchmaking und Ranking verwendet. Hier wird sie verwendet, um darzustellen, wie Licht von einem Punkt (Splat) ausgehend abfällt oder gestreut wird. Einzige Voraussetzung ist ein aktuelles iPhone oder iPad, Android-Nutzer müssen sich noch gedulden. Im eigenen Test läuft das Ganze auch sehr gut und besser als die übliche Methode mit Mesh-Netz. Aus der App erhielt ich jedoch keine brauchbaren 3D-Exporte, eventuell ein Bug. Ich konnte die PLY-Datei aber in keinem Programm weiterverarbeiten. Scaniverse 3.0 mit Gaussian Splats steht ab sofort im App Store zum Download bereit.
- mit bis zu sechs Personen teilen
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
Wird direkt mal heruntergeladen…
Habe ich auch gerade getestet. Die Ergebnisse sind, sagen wir es einfach mal, sehr mies. Unscharf ohne Ende, keine Ahnung, wie die das in den Videos so gut hinbekommen haben. Mit einem iPhone 15 Pro Max ausprobiert…
Von mir keine Empfehlung.
Bei mir gehts eigentlich. Brauchte mehrere durchläuft aber
Von der Funktion her kein simpler Scan, sondern gute Beleuchtung, Durchgänge etc. vorausgesetzt. Fslls man die ersten Handsxanner noch kennt, bevor es Flachbett-Scanner gab, die statt drei in einem Durchgang scannten, es braucht etwas Zeit, Geduld eben und eine „ideale“ Umgebung.
Ich beschäftige mich schon etwas länge rmit Gaussian Splatting und würde mal ganz stark behaupten, dass die Berechnung der Scans doch in der Cloud stattfindet! Selbst meine RTX 3090 ti benötigt für die Berechnung eines Modells mit Standardwerten ca. 30 Minuten. Also aufpassen was ihr da an eventuell sensiblen Sachen scannt.
Sollte das doch in ein paar Minuten auf dem Smartphone berechnet werden, kann der Scan eigentlich nichts taugen.
Und das keine aufwendige Nachbearbeitung nötig ist, sei auch mal dahingestellt. Normalerweise muss der Scan schon gesäubert werden und zumindest eine Crop Box gezogen werden.
PLY Dateien kann man u.a. mit CloudCompare, Meshlab, Blender oder über das Luma.ai plugin in der Unreal Engine bearbeiten. Da ist dann aber nichts mit wenig Aufwand.
Sorry, aber insgesamt sehr schwacher „Artikel/News“. Wenn man so garnicht in der Materie drin ist, sollte man wenn schon nüchtern darüber berichten und nicht von eventuellen Bugs reden…
Nein, du hast unrecht. Hatte das vorher auch versucht. Es ist lokal und geht auch im Flugmodus. Das nächste mit der PLY-file: ich hatte dir in unterschiedlichen Anwendungen geöffnet, in keinem ging es. Deine Anwendungen, außer Unreal, hatte ich nicht versucht, aber andere hatte ich bereits versucht und nur eine Kugel mit dem Bild erhalten. Anstatt direkt auf so eine harte Art Kritik zu üben, Evtl vielleicht deine Behauptungen erstmal überprüfen;)
Wieviele Fotos wurden bei deinem Experiment denn zur Berechnung genutzt? Wieviele Schritte insg. berechnet? Wie das Ganze „sehr gut laufen“ kann wenn kein Export möglich ist und andere Programme die Datei nicht lesen können ist jetzt auch fraglich. Welches iPhone oder Tablet hast du genutzt und wie lange hat die Berechnung gedauert? Wie ist das Ergebnis in der App bezüglich der Qualität und Details?
Fragen die mich wirklich interessieren, da wie schon geschrieben die Berechnung für gute Ergebnisse auf einer schnellen Grafikkarte schon um die 30 Minuten dauern können. Selbst bei Cloud-Diensten wie Luma oder polycam dauert die Berechnung etwas.
Und ich kann erstmal nur Behauptungen aus meiner Erfahrung aufstellen, weil ich selbst mit Android unterwegs bin ;).
Das erklärt einiges. Die Qualität ist, sagen wir mal SD. Der rechnet anscheinend mit einem Splat-AI Modell. Die Berechnung dauert immer so 60s und kann dann nochmal öfter mit der Länge ausgeführt werden. iPhone 15 Pro. Der Scan läuft sehr gut, der Export nicht 🙂
Nachtrag: das ist natürlich auch im Vergleich zur vorherigen LiDAR Methode gemeint
Die ply von nerf Modellen sind idt point clouds mit zusätzlichen Attributen (die Reflection values z. B.), die sollten mit jedem entsprechend flexiblen Importer zu öffnen sein, aber eben ohne Mesh-surface. Bei „billig Scans“ werden meist nur wenige Punkte zuverlässig erfasst, daher sind die ply oft minimal, die „Qualität“ kommt vom „splatting“.
Diese Technik ist nicht dazu gedacht, 3d „meshes“ zu erzeugen (da ist sfm ungeschlagen), sondern dazu, Kamera transforms zu interpolieren.
Bei niedrigen Auflösungen sind – bei entsprechenden „shortcuts“ für das Training, z. B. Bekannte intrinsics der Kamera – Handy CPUs ausreichend, allerdings sprechen kurze Berechnungen auch für niedrige steps, also extrem „fragile“ Ergebnisse.
Es kommen jetzt gerade neue Modelle rund um die Darstellungstechnik (splatting) raus, z. B. Frosting, die schneller sind. „flexible high end Qualität“ liefern die aber auch nicht.
Ist eben alles noch sehr im Spielerei Stadium.