3DMark: Benchmark-Tool listet drei Huawei-Smartphones aus
von caschy | 6 Kommentare
Die Macher des 3DMark schmeißen drei populäre Smartphones aus ihren Bestenlisten. Jani Joki, Director of Engineering, bestätigte uns den Vorgang in einer E-Mail. In den letzten fünf Jahren sei es bei vielen Herstellern vorgekommen, dass diese versucht haben zu schummeln.
Warum? Logo, der Platz weit oben in den Ranglisten.
Am Dienstag berichtete AnandTech, dass mehrere aktuelle Smartphone-Modelle von Huawei und seiner Submarke Honor künstlich hohe und irreführende Benchmark-Ergebnisse zu liefern scheinen.
Nachdem man die Geräte im eigenen Labor getestet und bestätigt habe, dass sie gegen die Regeln verstoßen, habe man sich entschieden, die betroffenen Modelle zu streichen und sie aus dem Leistungsranking zu entfernen.
Hierbei handelt es sich um die Modelle Huawei P20 Pro, Huawei P20, Huawei Nova 3 und das neue Honor Play. Ausgelistete Smartphones erscheinen unplatziert und ohne Punktzahl am Ende des Smartphone-Rankings.
Man habe alle Modelle mit der normalen Version des 3DMark getestet, aber auch eine interne Version verwendet. Man fand heraus, dass die Ergebnisse der öffentlichen 3DMark-App bis zu 47 Prozent höher waren als die Ergebnisse der privaten App, obwohl die Tests identisch sind.
Mit der öffentlichen 3DMark-App scheinen diese Geräte einen versteckten „Performance-Modus“ zu verwenden, der das übliche Leistungsprofil der Geräte überschreibt. Der Unterschied in der Punktzahl zeige, dass die Geräte die 3DMark-App einfach nur mit dem Namen erkennen, anstatt sich an die Art der Arbeit im Test anzupassen.
Diese Art der Erkennung und Optimierung ist nach den Regeln für Hersteller verboten. Man habe Huawei mit den Ergebnissen kontaktiert, die haben daraufhin Besserung gelobt:
„Huawei plant, den Benutzern den Zugang zum „Performance-Modus“ zu ermöglichen, damit sie die maximale Leistung ihres Geräts nutzen können, wenn sie es benötigen.“
Optionale Leistungsmodi, die vom Benutzer eingestellt werden können – bei Modellen anderer Hersteller bereits verfügbar – sind nach den aktuellen Regeln zulässig, sofern sie standardmäßig deaktiviert sind. Ein Gerät muss den Benchmark so ausführen, als wäre es eine andere Anwendung.
Kurzform: Hersteller erkennen eine Benchmark-App und schalten in einen Hoch-Performance-Modus. Dies sollen sie laut Regeln des Benchmark-Herstellers aber nicht. Was ja eigentlich Quatsch ist. Ein Benchmark soll ja eigentlich zeigen, was ein Smartphone leisten könnte, quasi am Anschlag. Und zwar dem dauerhaften, wenn die CPU auch mal heiß wird. Denn dann wird es ja spannend.
Wie ich schon oft schrieb: Benchmarks sind wenig bis nichts wert. Viele schummeln, entscheidend ist aufm Platz. Reviews von Menschen, die das Gerät besitzen und im Alltag testen. Normaler Nutzen. Spiele auf längere Sicht. All so etwas. Ein Benchmark kann nur eine ungefähre Richtung zeigen. Ist wie bei der Tour de France. Sollen ALLE mal schummeln und dopen. Dann haben alle auch die identischen Voraussetzungen.
Wird geladen ...
Irgendwie komme ich gar nicht parat bei den Sätzen: „Viele schummeln, entscheidend ist aufm Platz. Reviews von Menschen, die das Gerät besitzen und im Alltag testen Normaler Nutzen. Spiele auf längere Sicht. All so etwas. „
Handelt es such hier nicht um den GPU Turbo? Der an einer App über den Game Launcher erkennt, welche Einstellungen und Geschwindigkeiten für eine App benutzt werden sollen?
Der GPU-Turbo arbeitet ja anders als ein aktueller Benchmark? Neue Frames werden z.B. ja nur noch neu berechnet, wenn diese sich ändern. Kann man sowas in einem Benchmark überhaupt abbilden? Und muss sich hier nicht das Gerät an den Benchmark anpassen?
Nein, dieses Cheating hier hat Huawei nur für ausgewählte Benchmarks aktiviert. Die Ausführung dieser Benchmark-Apps wird erkannt, dann werden die thermischen Obergrenzen des SOC hochgesetzt. Die hohen Frameraten lassen sich nicht bei Games erzielen.
Außerdem hat der SW-Chef von Huawei auf der IFA gegenüber Anandtech zugegeben, dass Huawei bei Benchmarks betrügt, „weil es alle machen“ – heißt (fast) alle chinesischen Anbieter.
„Wie ich schon oft schrieb: Benchmarks sind wenig bis nichts wert. Viele schummeln, entscheidend ist aufm Platz. Reviews von Menschen, die das Gerät besitzen und im Alltag testen. Normaler Nutzen. Spiele auf längere Sicht. All so etwas. Ein Benchmark kann nur eine ungefähre Richtung zeigen. Ist wie bei der Tour de France. Sollen ALLE mal schummeln und dopen. Dann haben alle auch die identischen Voraussetzungen.“
Uaah, Cashy, am besten du streichst den Absatz. Die Meinung, Benchmarks sind eh egal, sollen doch alle betrügen, genauso wie im Sport, geht gar nicht! Bei letzterem führt es zu massenhaften Todesfällen, bei ersterem zu Konsumententäuschung.
Es gibt aber tatsächlich Benchmarks, die Sinn machen, z.B. die Grafiktests (v.a. die Dauertests) von GfxBench, bei denen Frameraten in Game-ähnlichen Sequenzen gemessen werden. Synthetische Punkte-Benchmarks wie Antutu kann man in der Pfeife rauchen, das ist klar. Die sind auch diejenigen, bei denen am meisten besch… wird.
Warum werde ich so an den Dieselskandal erinnert?
Genau nach so einem Kommentar habe ich gesucht, gleiche Meinung!