HeadGaze: Open-Source-Projekt von eBay lässt euch per Kopf-Tracking shoppen

In der heutigen Zeit freuen sich viele Menschen über neue Technik, Technologien und Software, die bisher noch nicht mögliche Dinge realisieren und so beispielsweise in Form eines ARKit oder ARCore virtuelle Inhalte in die reale Welt integrieren lassen. Doch es gibt auch immer noch genügend Menschen da draußen, denen schon damit geholfen wäre, wenn die vorhandene Technik für sie noch besser funktionieren würde.

HeadGaze: Open-Source-Projekt von eBay lässt euch per Kopf-Tracking shoppen

Ein eben solches Szenario beschreibt Muratcan Cicek in einer Story auf ebayinc.com. Muratcan leidet an einer körperlichen Behinderung, die ihn derart einschränkt, dass er für viele Aufgaben des Alltags auf Hilfe angewiesen ist. In ihm wuchs der Drang, eigenständiger sein zu können als bisher. Und ein Praktikum bei eBay war für ihn dann die perfekte Gelegenheit, damit loszulegen.

Während seines Praktikums hat Muratcan gemeinsam mit anderen an einer wiederverwendbaren Technologiebibliothek gearbeitet, die sich HeadGaze nennt und inzwischen bei GitHub für jedermann zur Verfügung steht. HeadGaze verbindet derzeit die Technologien von Apples ARKit und der Face ID-Sensorik des iPhone X, um Kopfbewegungen verfolgen zu können und das Handy so ohne Hände benutzbar zu machen.

Unser Team hat ein Modell entworfen, das einen virtuellen Stift erstellt, der der Bewegung Ihres Kopfes folgt (nach oben, unten, von Seite zu Seite), die 3D-Informationen des Kopfes aus ARKit entnimmt und 3D-Geometrie-Mapping anwendet, um die Position des "Cursors" auf dem Bildschirm zu ermitteln. Darüber hinaus haben wir neue Widgets für die Benutzeroberfläche entwickelt und implementiert, die die "Cursor"-Interaktion erfassen und darauf reagieren. Ähnlich wie eine Maus den Cursor auf einem Desktop navigiert, können Sie mit diesem Design mit dem Kopf auf eine beliebige Stelle auf dem Bildschirm zeigen und bestimmte "Tasten" aktivieren.

Dank modularem Code-Design soll es anderen Entwicklern besonders einfach gemacht werden, die Funktionen von HeadGaze in deren Anwendungen zu integrieren. Mit einfachen Kopfbewegungen lässt sich dann also scrollen, Aktionen beim längeren Verweilen auf einem Widget auslösen und anderweitig mit dem Bildschirminhalt interagieren. Dabei muss der Anwender nicht einmal zwingend körperlich eingeschränkt sein. Muratcan nennt weitere Beispiele, wie das Navigieren auf dem Handy beim Kochen, ohne das Display zu beschmutzen oder auch die Bedienung des Displays, wenn es eigentlich zu kalt draußen ist, um die Handschuhe auszuziehen.

Doch mit der Erkennung und Umsetzung der Kopfbewegungen soll noch nicht Schluss sein, teilt er mit. Aktuell erforsche das Team noch, wie sich Augenbewegungen mit der Hard- und Software genauso gut erkennen lassen, damit man diese kombiniert mit den Kopfbewegungen ein noch breiteres Aktionsspektrum ermöglichen.

AngebotBestseller Nr. 1
Fintie Bluetooth Tastatur mit Hintergrundbeleuchtung in 7 Farben, Schwarz | Tablet Tastatur mit deutschem Layout...
  • Die Tastatur ist universell kompatibel mit iOS, Android und Windows Geräten wie Tablets, Laptops und...
  • Mit einem Format von nur 247 × 150 × 6,2 mm ist sie extrem dünn, leicht und tragbar. Sie passt...
  • Wiederaufladbare Tastatur: Der integrierte 420-mAh-Akku (Aufladung über USB-C in 2–3 Std.) sorgt für...
Bestseller Nr. 2
Emetok Deutsche Bluetooth Tastatur, ultradünn, für iPad/Android, Schwarz | Große Tastenkappen, tragbar kabellos...
  • 1. Große Auswahl an kompatiblen Geräten: Diese Bluetooth-Tastatur ist kompatibel mit Geräten wie...
  • 2. Wiederaufladbar( Umweltfreundlich): Die Tastatur ist ein eingebauter wiederaufladbarer Akku, der Akku...
  • 3. Einfache Verbindung: Die fortschrittliche Nordic BLE Bluetooth-Technologie bietet eine schnellere...
Bestseller Nr. 3
NEWCOO Kabellose Tastatur, Deutsche Mini Bluetooth Tastatur für iPad...
  • 【Umfassende Kompatibilität】 Diese iPad Tastatur ist kompatibel mit Tablets, Laptops und Smartphones...
  • 【Verwendung】 Nach der Bluetooth-Verbindung zuerst zum entsprechenden System wechseln; Android-System...
  • 【Ultra Dünn und Leicht】 Diese Mini Tastatur misst nur 25 x 15,5 x 0,7/0,5 cm (9,84 x 6,1 x...
Fehler im Artikel entdeckt? Hier melden.
Avatar-Foto

Nordlicht, Ehemann und Vater. Technik-verliebt und lebt fürs Bloggen. Außerdem: Mail: benjamin@caschys.blog / Mastodon

2 Kommentare

  1. Erinnert mich an das hier von Opera damals 😉

    [Link entfernt]

Moin! Lass uns respektvoll diskutieren.

Wir freuen uns auf sachliche, konstruktive und gerne humorvolle Beiträge. Da wir hier wie mit real anwesenden Personen umgehen möchten, löschen wir Kommentare, die nur herabwürdigen oder völlig am Thema vorbeigehen. Ein Recht auf Veröffentlichung besteht nicht. Mit dem Absenden stimmst du unserer Datenschutzerklärung und der Speicherung deiner Daten zu.