Google: Neue API für Handschrifterkennung arbeitet offline mittels maschinellen Lernens

Google hat mit dem ML Kit einige API-Lösungen zum Machine Learning direkt auf dem Endgerät parat. Neben der Möglichkeit zur Texterkennung, dem Beschriften von Bildern sowie der Erkennung und dem Tracking von Objekten unterstützt man hier im „visuellen Bereich“ auch das Scannen von Barcodes und das Erkennen von Gesichtern. Nun fügt man auch eine entsprechende Möglichkeit zur Handschrifterkennung ein.

Die Erkennung für „Digital Ink“ soll nach Googles Aussagen als API sowohl unter Android als auch für iOS zur Verfügung stehen. Insbesondere sollen Geräte profitieren, welche vorrangig mit Stift oder über Touch-Interaktionen bedient werden.

Verarbeitet werden für die „Handschrifterkennung“ weder Text noch Bild als Input, sondern man schaut sich mittels Machine Learning die Striche des Endnutzers auf dem Display an um zu erkennen was geschrieben aber auch gezeichnet wird. Die Technologie der Handschrifterkennung als solche kommt beispielsweise bereits in Gboard sowie den Experimenten Quick Draw! und AutoDraw zum Einsatz.

In der neuen API hat man jedoch einige Verbesserungen vorgenommen: Die API kann auch in Apps verbaut werden, die Text oder Zahlen über den Finger oder Stift als Input aufnehmen. Ebenso lässt sich den Entwicklern auch die einfachere Möglichkeit an die Hand geben, um Notizen zu transkribieren und damit in Echtzeit durchsuchbar zu machen.

Mit der neuen API unterstützt man mehr als 300 Sprachen, 25 Schriftsysteme und deckt damit die wichtigsten lateinischen Sprachen aber freilich auch Chinesisch, Japanisch, Koreanisch, etc. ab. Erkennen und klassifizieren (z.B. in die Kategorien Kreis, Quadrat, glückliches Gesicht usw.) lassen sich neben Formen / Zeichnungen auch Emojis.

Nette Geschichte: Die API läuft auf dem Gerät und erfordert damit keinerlei Netzwerkverbindung. Ein oder mehrere Modelle müssen zur Erkennung dafür aber natürlich vorab heruntergeladen wird, diese sind in etwa 20 MB groß. Da man auf die Geräte selbst angewiesen ist, hängt die Arbeitsgeschwindigkeit natürlich auch von der verfügbaren Geräteleistung an. Google gibt die Erkennung einer Textzeile auf einem „typischen mobilen Gerät“ mit 100 ms an.

Gefällt dir der Artikel? Dann teile ihn mit deinen Freunden.

Felix Frank

Baujahr 1995. Technophiler Schwabe & Student auf Lehramt. Unterwegs vor allem im Bereich Smart Home und ständig auf der Suche nach neuen Gadgets & Technik-Trends aus Fernost. PayPal-Kaffeespende an den Autor.

Neueste Beiträge

Mit dem Absenden eines Kommentars stimmst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Bevor du deinen Kommentar abschickst:
Für eine offene Diskussion behalten wir uns vor, jeden Kommentar zu löschen, der nicht direkt auf das Thema abzielt oder nur den Zweck hat, Leser oder Autoren herabzuwürdigen. Wir möchten, dass respektvoll miteinander kommuniziert wird, so als ob die Diskussion mit real anwesenden Personen geführt wird. Dies machen wir für den Großteil unserer Leser, der sachlich und konstruktiv über ein Thema sprechen möchte - gerne auch mit Humor.

Du willst nichts verpassen?
Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den Hauptfeed abonnieren. Alternativ könnt ihr euch via E-Mail über alle neuen Beiträge hier im Blog informieren lassen. Einfach eure E-Mail-Adresse hier eingeben, dann bekommt ihr 1x täglich morgens eine Zusammenstellung. Mit dem Absenden willigst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.