Smarte Assistenten: So schlau sind Google Assistant, Amazon Alexa, Apple Siri und Microsoft Cortana wirklich


Wie schlau sind eigentlich Smart Speaker wirklich? Als Anwender fragt man sich das öfter, vor allem dann, wenn man keine passende Antwort erhält. Zum Glück gibt es Menschen, die sich damit auseinandersetzen und den IQ von Smart Speakern ermitteln. Die Ergebnisse für 2018 sind dabei – für mich – überraschend, spiegeln sie doch nicht das wider, was ich täglich so erlebe. Da ist es nämlich so, dass ich vom Google Assistant die besten Ergebnisse erhalte, von Amazon Alexa die zweitbesten und von Apples Siri überhaupt nur mit Glück eine Antwort erhalte. Microsofts Cortana nutze ich hingegen gar nicht, da kann ich mir kein Urteil erlauben.

Das liegt natürlich auch viel an dem, was man überhaupt fragt, ich frage halt gerne Dinge, die ich nicht eh schon weiß. Und da wird mir gar nicht so oft weitergeholfen. Aber das Ganze lässt sich auch neutral untersuchen, so wie es LoupVentures auch dieses Jahr wieder getan hat.

800 Fragen wurden den smarten Assistenten gestellt, gemessen wurde einfach, wie viele korrekte Antworten die Systeme geben konnten. Die erfreuliche Nachricht: Alle Assistenten waren besser als im Vorjahr, die Hersteller sorgen also schon dafür, dass immer mehr Wissen bereit steht. In Sachen Frageverständnis hat Google sogar 100 Prozent erreicht, die anderen Kandidaten kommen hier „nur“ auf 99,6 Prozent (Siri), 99,4 Prozent (Cortana) und 99 Prozent (Alexa).

Bei der Beantwortung von Fragen hat Google ebenfalls die Nase vorn. 87,9 Prozent der gestellten Fragen konnte der Google Assistant beantworten, im Vorjahr waren es noch 81 Prozent. Auf Platz 2 landet Siri mit 74,6 Prozent beantworteter Fragen, ein enormer Sprung, wurden nicht im Vorjahr, sondern im Februar dieses Jahres nur 52 Prozent der Fragen beantwortet.

Amazon Alexa landet auf Platz 3. 72,5 Prozent beantwortete Fragen gab es in diesem Jahr, 64 Prozent waren es im Vorjahr. Und Cortana? Letzter Platz mit 63,4 Prozent beantworteter Fragen, immerhin auch eine Steigerung, im Vorjahr waren es nämlich nur 56 Prozent.

Allerdings lassen sich diese Zahlen nicht verallgemeinern, denn es kommt auch sehr darauf an, in welchem Bereich man einen Assistenten befragt. Wie man der Grafik entnehmen kann, hat Google in vier von fünf Bereichen den Spitzenplatz, muss sich lediglich in der Kategorie „Commands“ Siri geschlagen geben.

Interessant ist hier auch die Kategorie „Commerce“, die man rein gefühlt wohl eher Amazon zuschreiben würde. Google ist hier allerdings mit großem Abstand führend, Amazon mit seinem Echo nur auf dem dritten Platz.

Eingangs erwähnte ich schon, dass sich die Fähigkeiten der Assistenten bei meiner Nutzung anders darstellt. Wie sieht es denn bei Euch aus, solltet Ihr mehrere Assistenten parallel benutzen?

Gefällt dir der Artikel? Dann teile ihn mit deinen Freunden.

Sascha Ostermaier

Technik-Freund und App-Fan. In den späten 70ern des letzten Jahrtausends geboren und somit viele technische Fortschritte live miterlebt. Vater der weltbesten Tochter (wie wohl jeder Vater) und Immer-Noch-Nicht-Ehemann der besten Frau der Welt. Außerdem zu finden bei Twitter (privater Account mit nicht immer sinnbehafteten Inhalten) und Instagram. PayPal-Kaffeespende an den Autor.

Das könnte dir auch gefallen…

Mit dem Absenden eines Kommentars willigst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.

23 Kommentare

  1. Naja das verhält sich of bei GA oder Alexa so wie bei Google Lens.. Laptop = electronic Device, mein s/w kater hält es für ne Kuh.. usw.. Aber es scheitert auch an meinem Namen keiner der beiden kriegt es hin den richtig aus zusprechen.. „Michel“ wird aber bei mir numal französisch ausgesprochen.. hab gerad mal nach meinem Spitznamen „Celli“ gefragt werder GA noch Alexa konnten den richtig verstehen.. Kam dann so Chile oder Schelly oder Gelee oder Jenny bei raus.

    • Hab auch ein ähnliches Übersetzungsproblem mit Alexa; Skill namens“ Aphorismus des Tages“ in der morgendlichen Routine aktiviert, „Aphoristiker“ oder „Aphoristikerin“ wird immer englischsprachig etwa „Everistica“ etc ausgesprochen, wüsste gerne wie man das beeinflussen kann…. Google Lens hält übrigens unseren Hund nicht mehr für eine Kuh, sondern bietet eine Auswahlmöglichkeit, wobei Border Collie die erste ist (was auch zustimmt) 😉 Glaube das funktioniert aber eh nur bei Rassen, nicht bei Promenadenmischungen oder gar Katzen…. :p

  2. Wie kann man denn Cortana nutzen, wenn man wöllte ? Ausschließlich auf Windows 10 PCs oder auch auf dem Smartphone ? Rein aus Spieltrieb…

  3. Also Cortana auf dem PC gibt stellenweise wirklich richtige Antworten, aber besonders die Aussprache finde ich bei Cortana mit Abstand am besten..
    Siri auf dem HomePod weiß einheitlich kaum was, taugt nur zum Smarthome steuern und Musik hören…

    • Siri war schon immer mit Abstand der schlechteste aller Assistenten. Das ist ein richtiger Kulturschock, wenn man vom iPhone auf Android wechselt und erst einmal merkt wie steinzeitlich Siri im Vergleich zu dem Google Assistent und Alexa ist.

      • Gefühlt geht es mir genauso. Kopfschüttel das Siri hinter Google Platz zwei belegt. Ärgere mich immer mehr über Siris „Unvermögen“.
        Alexa ist deutlich aktiver und reaktionsfreudiger.

        • kain van boi says:

          Schade das so ein aufwendiger Test nicht mit den deutschen Spracheassistenten gemacht wird. Nach meiner Erfahrung müsste die deutsche Siri weiterhin deutlich abgeschlagen hinter dem GA und Alexa sein.

  4. Ich habe keine Probleme wenn ich Alexa etwas frage, oder ihr sage sie soll etwas tun.
    Siri versteht zu 80% die Aufgabe falsch. Ats diesem Grund nutze ich Siri nur zum Telefonieren. Das klappt ganz gut.
    Der Test wurde auch nur in den USA durchgeführt. Evtl hat Siri auch Übersetzungsprobleme.

  5. Müsste nicht Siri gewinnen? Zumal Siri ja jetzt auch auf Google zurück greift?

  6. Fragt mal folgendes: „Alexa, wer war der 456. Mensch auf dem Mond?“

    • „Neil Armstrong“ ?!, wurde nicht gerade auch Wolfram-Alpha implementiert ?! Insofern ist der Test auch etwas obsolet, wohlwissend das WA auch nicht gerade für Alltagsfragen geeignet ist…. Aber man kann ja erstmal fragen, wieviele Menschen auf dem Mond überhaupt waren.. 😉

      Ich persönlich halte es bei Wissensfragen ohnehin eher für notwendig, selber zu recherchieren. Bringt das auch bitte Euren Kindern bei…. 😉

  7. Zitat: „Interessant ist hier auch die Kategorie „Commerce“, die man rein gefühlt wohl eher Amazon zuschreiben würde. Google ist hier allerdings mit großem Abstand führend, Amazon mit seinem Echo nur auf dem dritten Platz.“

    Der Beispielsatz in der Quelle (hier Maniküre) macht es ja deutlich, Amazon verweist auf eigene Produkte oder Dienstleistungen (hier ein teureres Angebot); Google sucht irgendeinen Wert in seiner Suche (evtl Nagelstudios in der unmittelbaren(?!) Umgebung(?!)). Bei „Commerce“ im eigentlichen Sinne (also kommerzielle Verwertung) hätte aber Amazon die Nase dann wohl vorn 😉

    PS: Stellt mal die einfache Frage, was Butter kostet. Bei Amazon wird nach eigenen Angebot gesucht; bei Google eine Suchanfrage auf eine veraltete Quelle von März dieses Jahres gestellt….

    • Würde ich nicht so sagen. Der Test wurde offenbar in den USA und auf Englisch gemacht und hier hat Google neben einem eigenen Angebot (Google Express) auch einige Angebote von Partnern eingebunden. Somit hat Google in den USA auch beim Einkauf gleichwertige Funktionen wie Amazon.

  8. Hier geschieht doch das Gleiche wie bei den Diesel-Fahrzeugen. Wenn das Prüfprozedere bekannt ist, ist es einfach, in einem Jahr bei diesen Test von 50% auf 80% zu kommen. Nur das reale Nutzererlebnis bleibt immer noch schlecht.

  9. Ich rede nicht mit einem sprechendem Zylinder. Geht doch alles viel schneller wenn man schnell das Handy in die Hand nimmt. Diese Assistenten sind für mich völlig überbewertet.

  10. Roger Räbit says:

    So ein Quark. Ein System so zu programmieren, dass es einfache Wissensfragen beantworten kann, sollte für die kein Problem sein und das Google da am besten abschneidet, ist nicht überraschend, sondern das Gegenteil wäre es. Warum verwendet man keine Real-World-Szenarien bzw. echte Use Cases statt Fragen, die man mit einer Google-Recherche in drei Sekunden beantworten könnte? Das sind doch die interessanten Fragen, außer vielleicht bei Cortana.

  11. Im eigentlichen Artikel steht, dass Siri auf dem iPhone besser gewesen wäre, weil es auf dem HomePod von Apple künstlich limitiert ist – Apple verkauft den HomePod nicht als Smart Speaker.

  12. Bei mir kann der GA fast alles, sagen wir mal 85% sofort richtig. Alexa als solche ist quasi strunzen-dämlich und versteht zu gut 35% nicht mal die Frage oder antwortet nonsens oder hat grade Probleme einen Radiosender zu öffnen. Den Rest kenn ich nur als lol-meme.

  13. kommt so 3-4 Mal die Woche vor und lässt mich regelrecht ausflippen:

    „Hey Google, Licht an!“
    Antwort: „Alles klar! Ich spiele Johannes Lichter von Spotify.“

    oder
    „Hey google, regnet es?“ „Es ist momentan nicht regnerisch…“ gehst raus und stehst im dicksten Gewitter..

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Du willst nichts verpassen?
Neben der E-Mail-Benachrichtigung habt ihr auch die Möglichkeit, den Feed dieses Beitrags zu abonnieren. Wer natürlich alles lesen möchte, der sollte den Hauptfeed abonnieren. Alternativ könnt ihr euch via E-Mail über alle neuen Beiträge hier im Blog informieren lassen. Einfach eure E-Mail-Adresse hier eingeben, dann bekommt ihr 1x täglich morgens eine Zusammenstellung. Mit dem Absenden willigst du unserer Datenschutzerklärung und der Speicherung von dir angegebener, personenbezogener Daten zu.