MIT arbeitet mit Interactive Dynamic Video an interaktivem AR-Erlebnis

Das Massachusetts Institute of Technology – kurz MIT – hat zuletzt unter anderem mit Projekten wie „Scratch Blocks“ in Kooperation mit Google von sich hören lassen. Nun arbeitet das Institut an einer Technologie, die das Erlebnis der Augmented Reality deutlich realistischer wirken lassen soll. Denn die Idee ist, Gegenstände und andere Objekte manipulieren zu können. So dass man schließlich an virtuellen Bäumen zupfen kann und diese bewegen sich authentisch mit oder aber man denkt sich eine Kombi mit Pokémon GO, wo die kleinen Pokémon tatsächlich mit ihrer Umwelt interagieren können.

Wie genau das visualisiert sein kann, könnt ihr in einigen Videos in unserer Quelle sehen. Mit Hilfe von üblichen Kameras und speziellen Algorithmen können die Wissenschaftler kleinste Oberflächenvibrationen der gesehenen Objekte analysieren und so auskalibrieren, wie einzelne Ausschnitte des Objekts bei jeweils unterschiedlichen Ausgangsbewegungen reagieren können. Dies setzt die Technologie entsprechend in Daten um, die später bei entsprechender Interaktion des Benutzers mit dem Objekt ins Spiel kommen.

Hierbei wird kein Greenscreen benötigt, sondern es wird eine exakte Kopie des Körpers in 3D darauf überlagert und reagiert dann im Anschluss auf eure Eingaben.

“This technique lets us capture the physical behavior of objects, which gives us a way to play with them in virtual space,” says CSAIL PhD student Abe Davis, who will be publishing the work this month for his final dissertation. “By making videos interactive, we can predict how objects will respond to unknown forces and explore new ways to engage with videos.”

Vielleicht lassen sich auf diesem Wege bald die sonst so schnell wieder flüchtenden Taubsi und Kollegen einfach mit der Hand greifen und unter Kraftanwendung in den Ball drücken. Mit Sicherheit würde dieses Feature eine Menge Spieler ansprechen ;D