Seeing AI: Microsoft überarbeitet Oberfläche der KI-gestützten App für Sehbehinderte
von caschy | 7 Kommentare
Microsoft hat mit Seeing AI bereits seit langem eine KI-App für mehr Barrierefreiheit im Angebot. Die kostenlose App soll blinden und sehbehinderten Menschen die Welt beschreiben. Hierzu werden viele Alltagsprodukte erkannt, Posts können vorgelesen und Fotobeschreibungen ausgelesen werden. Nun gibt es ein größeres Update.
Die Bedienoberfläche der App von Microsoft wurde in Version 5.5 grundlegend überarbeitet. Die neue Version strukturiert die Funktionen der App in drei Hauptbereiche, um den Zugriff auf die wichtigsten Funktionen zu beschleunigen.
Der erste Bereich „Lesen“ vereint die bisherigen Kanäle für kurze Texte, Dokumente und handschriftliche Notizen in einer einzigen Ansicht. Nutzer können damit schneller zwischen verschiedenen Texterkennungsfunktionen wechseln.
Im zweiten Bereich „Beschreiben“ finden Anwender die Funktionen zur Umgebungserkennung. Die App analysiert hier sowohl die aktuelle Umgebung als auch bereits auf dem Smartphone gespeicherte Fotos. Die früher getrennten Kanäle für Szenen- und Personenerkennung wurden dafür zusammengelegt.
Der dritte Bereich „Mehr“ enthält alle weiteren spezialisierten Funktionen der App. Microsoft hat zusätzlich verschiedene Fehler im Hintergrund behoben, um die Stabilität der Anwendung zu verbessern.
Die Neustrukturierung der Seeing AI App folgt dem Prinzip, häufig genutzte Funktionen schneller zugänglich zu machen. Die Entwickler haben dabei die Rückmeldungen der Nutzer berücksichtigt und die Bedienung der App vereinfacht.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
Diese App ist wirklich ziemlich fantastisch, kann man nicht anders sagen… Auch für nicht Sehbehinderte, kann man mal gut mit rum experimentieren… Da sieht man was KI kann…
Nutze ich als Blinder schon lange und gern.
Mir gefallen die Bildbeschreibungen bei BeMyEyes besser. Die sind ja inzwischen auch KI-basiert.
Auch eine super App ist OOrion, ebenfalls kostenlos.
https://apps.apple.com/app/id1567957213
Die französische App hat eine gute Objekterkennung. Da funktioniert das Auffinden von Gegenständen richtig gut.
Für Sehende mag das Spielerei sein, für Blinde ein Stück unabhängigkeit und Alltagshelfer.
Leider gibt es noch immer erstaunlich viele Blinde, gerade mittleren Alters, die sich an das iPhone mit VoiceOver usw. nicht heran trauen. Das ist fast tragisch, weil ihnen dadurch unheimlich viele Möglichkeiten entgehen und ein Stück Unabhängigkeit erst gar nicht erreicht werden kann.
Das stimmt leider. Das Problem ist die fehlende physische Tastatur und es fällt ihnen schwer sich die Gesten zu merken, die sich ja mit VoiceOver noch mal unterscheiden. Die sind dann regelrecht erschlagen und da muss sich echt jemand mit denen hinsetzen und Stück für Stück erklären.
Ich hab aber die Erfahrung gemacht, wenn sie einmal das Prinzip verstanden haben und erkennen was möglich ist, bleiben die meisten Älteren auch dabei.
Das Schreiben in Textfeldern fällt ihnen meistens schwer. Diktieren mit Siri funktioniert ja auch nicht immer perfekt. Leider gibts in VO auch schon seit einigen Jahren Sprachfehler, die Apple schon ewig mitschleppt.
Hallo Rollli und Steffen, wobei es mit dem Blindshell
https://www.blindshell.de/eshop/blindshell-classic-2?srsltid=AfmBOorRduTSqh0w32jW0QVAU7lUL_F6qBxQl9bAOT1O8o30P9M6sRpS
eine Alternative mit klassischer handy-Tastatur gibt, die über ein embedded Android bedient wird.
Das bietet zwar nich den vollen Funktionsumfang eines üblichen android-telefons aber doch werden die wichtigsten funktionen, u. a. auch WhatsApp, Youtube oder die üblichen mail-, Kalender- und Adreßbuch-Funktionen , aber auch OCR, Geldscheinerkennung , Farberkennung und und und abgedekt. Und das alles mit klassischer Tastaturbedienung.
Das neueste Gerät dieser Reihe erlaubt sogar die Installation von Standard-Apps aus dem Playstore , wieweit diese dann mit dem ja doch sehr anderen Bedienkonzept des Blindshell 3 nutzbar sind weiß ich aber nicht.
auf jeden Fall bleibt: es gibt also Alternativen zu reiner touch-Screen-Bedienung.
Übrigens: an neuere iPhones mit USB-C-Buchse lassen sich auch Standard-PC-Tastaturen anschließen und dann das Telefon mit Tastatur bedienen – ganz ohne vorher eine bluetooth-Kopplung für eine drahtlose Tastatur durchlaufen zu müssen
Hallo Steffen, kann ich nur bestätigen.
Gerade Be my Eye bzw. Be my AI ist was Bildbeschreibungen angeht wohl derzeit der Goldstandard.
Allerdings muß man auch hier im Hinterkopf behalten daß KI auch phantasieren kann:
Ich habe mehrere Standbilder aus einem youtube-Video-
es waren Ausschnitte aus einer rudi-Carrell-Show – erkennen lassen. Alle Gegenstände und Personenbeschreibungen schienen schlüssig.
Als ich dann nach namen von Personen fragte wurde
-rudi Carell richtig erkannt als er auf der Bühne stand und sprach (ich konnte ja hören wer da spricht)
– später als Peter Alexander in der gleichen Sendung mit Mikrofon in der hand zu sehen (und auch zu hören) war, wurde mir Peter kraus als Person auf der bühne genannt – vermutlich weil er mit im Titel bzw. bei den personen die in der Show auftraten genannt wurde.
Hier wird also von der KI aus dem Textzusammenhang rund um das Foto heraus geraten – also da ist noch Luft nach oben.
Aber das macht diese Apps grundsätzlich , wenn man sich ihrer Grenzen bewußt ist, zu einem guten Hilfsmittel.
Hallo Andreas,
ja schon sehr interessanter Versuch. Genau, die KI differenziert und hinterfragt nicht.
Sie lässt sich sogar von fehlerhaften Angaben überzeugen.
Sprich: Hättest du gesagt – „Das muss aber Peter Alexander sein.“ – wäre eine Entschuldigung gekommen für ihren Fehler.
Bin ich ganz deiner Meinung, da ist noch Luft nach oben.
Ich glaube lange wird es nicht mehr dauern bis auch hier die Angaben verlässlicher werden.