Antutu bewertet in AI Review nun die KI-Leistung von Smartphones

Mobile Benchmarks gibt es mittlerweile einige: Geekbench, GFXBench, 3DMark, PCMark oder auch das allseits beliebte Antutu. Letzteres soll in Zukunft nicht nur die CPU-, GPU-, RAM- und Akkuleistung bewerten, sondern auch die KI-Performance gesondert berücksichtigen. Das hat das Team von Antutu bereits an dieser Stelle offiziell angekündigt. Allerdings sieht es wohl danach aus, als ob man die Leistung im Bezug auf künstliche Intelligenz in einer separaten App namens AI Review testen möchte.

Dabei hat Antutu mit Chip-Herstellern kooperiert, um eine derartige App bereitstellen zu können. Herunterladen könnt ihr die chinesische Variante der App als APK bereits hier. Das Problem im Bezug auf KI ist natürlich, dass jeder Hersteller davon aktuell seine eigene Vorstellung hat. Häufig wird AI / KI nur marktschreierisch als Schlagwort für einfache Algorithmen verwendet. Zudem gehen die Chip-Hersteller ebenfalls anders damit um. Etwa nutzt Huawei bekanntermaßen eine sogenannte NPU (Neural Processing Unit), während Qualcomm AI-Operationen auf seinen Hexagon DSP auslagert.

Dann ist die Vernetzung mit der Software ebenfalls komplex und es gibt ganz unterschiedliche SDKs für die KI-Implementierung. Da kochen Qualcomm, MediaTek und etwa Huawei auch alle ihr eigenes Süppchen. Trotzdem wollte man bei Antutu irgendwie einen Weg finden vergleichende Tests zu generieren. Deswegen testet man in AI Review in zwei Kategorien: Bild-Klassifikation (Image Classification) und Objekterkennung (Object Recognition). Einmal werden dabei rund 200 Bilder ausgewertet und das andere Mal ein Video in dem möglichst schnell und präzise Objekte erkannt werden sollen.

Antutu wertet dabei nicht nur die Schnelligkeit der KI aus, sondern auch die Genauigkeit der Ergebnisse. Damit soll verhindert werden, dass Hersteller mogeln und einfach rasch Ergebnisse liefern, die dann aber entsprechend oft falsch liegen. Aktuell ist der Nutzen des AI Reviews aber noch sehr eingeschränkt: Samsung hat noch kein KI SDK herausgegeben und Huawei nutzt TFLite für einige Funktionen, so dass beide Hersteller unverhältnismäßig niedrige Punktzahlen erhalten. Zusätzlich spielt auch die Android-Version in die Ergebnisse hinein, da Google hier bei neueren Versionen wie 9.0 Pie stärker für KI-Szenarien optimiert hat.

Selbst bei Antutu gibt man zu, dass es aktuell noch schwer sei der KI-Leistung wirklich in Zahlen greifbare Werte zuzuweisen. Die Synergien zwischen Hard- und Software und die unterschiedlichen Anwendungsgebiete erschweren das. Falls ihr Lust habt euer Smartphone dennoch mal mit AI Review zu testen, könnt ihr die App aber ja unter dem obigen Link herunterladen. Zur Installation müsst ihr dann natürlich unbekannte Quellen zulassen.