Seeing AI: Microsofts KI-App für Menschen mit Sehbehinderung jetzt auch für Android
von Felix Frank | 2 Kommentare
Microsoft feilt mit Seeing AI bereits seit längerem an einer KI-App für mehr Barrierefreiheit. Die kostenlose App soll blinden und sehbehinderten Menschen die Welt beschreiben. Hierzu werden viele Alltagsprodukte erkannt, Posts können vorgelesen und Fotobeschreibungen ausgelesen werden.
Microsoft hat die App bereits vor längerer Zeit (2017) für iOS-Geräte veröffentlicht. Die iOS-App hat kürzlich ein Update mit neuen generativen KI-Funktionen erhalten. Jetzt steht erstmals auch eine Android-Version über den Google Play Store zur Verfügung.
Im Rahmen des Android-Releases stellt man Seeing AI jetzt in 18 Sprachen zur Verfügung, darunter auch Deutsch. (Verfügbare Sprachen: Tschechisch, Dänisch, Niederländisch, Englisch, Finnisch, Französisch, Deutsch, Griechisch, Ungarisch, Italienisch, Japanisch, Koreanisch, Norwegisch, Polnisch, Portugiesisch, Russisch, Spanisch, Schwedisch, Türkisch.) Bereits im kommenden Jahr soll die Auswahl auf 36 Sprachen erweitert werden.
In die App sei einiges an Feedback aus der iOS-Zeit eingeflossen. Neben einer kurzen Zusammenfassung gibt es jetzt auch umfangreichere Beschreibungen von Fotos. Hierzu kann man einfach auf „Mehr Infos“ tippen. Auf KI-Basis kann man jetzt auch mit gescannten Dokumenten chatten und sich die nicht nur vorlesen lassen. So werden beispielsweise Rückfragen zu konkreten Punkten möglich oder Zusammenfassungen.
Seeing AI hilft jetzt außerdem beim Ausrichten der Kamera und Anfertigen von Fotos. Die folgenden Features und Informationen hat die App auf dem Kasten:
- Kurzer Text: Spricht den Text, sobald er vor der Kamera erscheint.
- Dokumente: Bietet eine Audioführung, um eine gedruckte Seite zu erfassen, und liest den Inhalt zusammen mit der Originalformatierung vor. Chatten Sie mit Seeing AI, um schnell Informationen zu finden.
- Produkte: Scannt Barcodes und führt Sie mit Hilfe von Signaltönen; Sie hören den Namen und die Verpackungsinformationen, falls verfügbar.
- Szenen: Hören Sie eine Beschreibung der aufgenommenen Szene und tippen Sie auf „mehr Info“, um eine ausführliche Beschreibung zu erstellen. Erkunden Sie das Foto, indem Sie mit dem Finger über den Bildschirm fahren, um die Position der verschiedenen Objekte zu hören.
- Menschen: Identifizieren Sie Freunde in Ihrer Umgebung.
- Währung: Erkennt Geldscheine.
- Farben: Identifiziert die wahrgenommene Farbe.
- Handschrift: Liest handgeschriebenen Text wie in Grußkarten (in einer Teilmenge der Sprachen verfügbar).
- Licht: Erzeugt einen hörbaren Ton entsprechend der Helligkeit in der Umgebung.
- Bilder in anderen Apps: Teilen Sie ein Foto mit Seeing AI, um es zu erkennen.
Transparenz: In diesem Artikel sind Partnerlinks enthalten. Durch einen Klick darauf gelangt ihr direkt zum Anbieter. Solltet ihr euch dort für einen Kauf entscheiden, erhalten wir eine kleine Provision. Für euch ändert sich am Preis nichts. Partnerlinks haben keinerlei Einfluss auf unsere Berichterstattung.
Wird geladen ...
gibt es dazu eine api? das wäre ja super spannend!
Gut daß das jetzt auch Android-Nutzenden zur Verfügung steht. Nutze die App unter iOS schon länger. „Wichtige“ Dokumente erfasse ich immer noch mit Flachbettscanner und Finereader-OCR um größtmögliche Erkennungssicherheit zu haben , aber die „Vorselektion“ des Schriftgutes erfolgt per Smartphone und Seeing AI. Dann weiß ich was weg kann .. Farberkennung ist allerdings sehr ungenau, besonders bei dunkleren Tönen /Erdfarben/gedeckten Farben. Aus tiefem Blau oder Braun wird schnell Schwarz oder dunkles Grau herausgelesen. Die Geldscheinerkennung dagegen funktioniert gut. App mit hohem Nutzweert. „Be my Eye“ hat übrigens auch eine Funktion „Be my AI“ die es erlaubt Bilder erkennen zu lassen und darüber mit der AI in einen Frage-Antwort-Dialog zu treten. Ansonsten ist „Be my Eye“ ja eine App in der sehende Freiwillige sehgeschädigten Leuten per Videochat assistieren – z. B. beim Lesen einer Speisekarte oder dem Bedienfeld eines haushaltsgerätes. Hoffe daß in einigen Jahren auf maschineller Intelligenz beruhende Bild- und Textanalyse so weit sind daß sie bei kontinuierlich fortlaufendem Bild eine Art „Online-Assistenz“ z. B. auch für die Orientierung draußen bieten.