Microsoft Research: Detailliertere Gestensteuerung soll neue Bedienkonzepte ermöglichen

Die Bedienung von Computern, auch heute sind in den meisten Fällen noch Eingabegeräte erforderlich, um den Rechnern zu sagen, was sie zu machen haben. Es werden Gesichter erkannt und der PC entsperrt, Sprachbefehle werden ebenfalls entgegen genommen. Aber ein Programm nur mit Gesten bedienen? Leap Motion hat etwas in diese Richtung probiert, konnte aber auch nicht so richtig überzeugen. Die Bedienung per Gesten, detaillierte Handbewegungen erkennen, das ist die große Herausforderung. Mit ihr beschäftigen sich auch schlaue Köpfe bei Microsoft Research. Das Ziel: Eine Bedienung von Programmen mit natürlichen Bewegungen.

Wie man das Ganze zum Beispiel einsetzen kann, seht Ihr im Project Prague Demo-Video oben. Man tut praktisch so als würde man das Objekt auf dem Bildschirm greifen, um mit ihm zu interagieren. So lassen sich Bilder drehen, in Präsentationen einfügen und dort sogar durch ein einfaches winken an die passende Stelle gebracht werden. Das funktioniert sehr gut, wie man sehen kann, auch wenn die Bewegungen nicht direkt natürlich aussehen.

Man muss seinen Arm heben und letztendlich so platzieren, dass er die Objekte erreichen kann. Da stelle ich mir dann wieder die Frage, was da den großen Unterschied zu einer Touchscreenbedienung macht. Aber darum soll es ja auch nicht gehen, vielmehr geht es um die feinmotorischen Bewegungen der Hand, die eben erkannt werden. Diese Erkennung wiederum ermöglicht dann eine weitere Bedienmöglichkeit für IoT-Devices, die ja nicht immer mit Bildschirm daherkommen. Oder auch für VR-Eingaben. Wie gut die Erkennung an sich ist, seht Ihr in folgendem Video:

Problem bei Eingaben „in der Luft“ ist natürlich das fehlende haptische Feedback. Natürlich gibt es auch hier einen Ansatz, Haptic Retargeting nennt sich die Geschichte. Über Haptic Retargeting ist es möglich, virtuelle Welten mit der realen Welt zu verschmelzen, durch Nutzung weniger Objekte ein viel echteres Erlebnis zu ermöglichen. Zum Beispiel könnt man mit einem einzigen physischen Klotz unter Zuhilfenahme von Virtual Reality einen Turm bauen und der Nutzer hätte das Gefühl er setzt einen Stein auf den anderen. Der Nutzer wird quasi ausgetrickst, aber im positiven Sinn.

Wer tiefer in die Materie einsteigen möchte, dem sei dieser Artikel von Microsoft ans Herz gelegt. Sehr faszinierend wie komplex manche Dinge doch sind. Und noch faszinierender, dass sich Menschen damit beschäftigen und aus solchen Erkenntnissen dann hilfreiche Ergebnisse für alle liefern.