Ausgelistet: HTC One (M8) fliegt aus 3DMARK-Rangliste
Bereits im letzten Jahr schnappte man sich bei Futuremark Smartphones, die angeblich darauf optimiert waren, besonders gute Ergebnisse in Benchmarks zu liefern. Damals traf es diverse Geräte von Samsung und HTC, sie wurden aus den Bestenlisten ausgeschlossen – seitens Futuremark heißt es ganz klar, dass man klare Regeln und das Ziel habe, unvoreingenommene Ergebnisse veröffentlichen zu können.
Benchmarks müssen ganz normal vom Gerät ausgeführt werden, ohne Erkennungen und spezielle Anpassungen. Sollte ein Gerät nicht in das Regelwerk passen oder mit auffälligen Ergebnissen ums Eck kommen, so wird es ausgelistet und nicht mehr in der Benchmarkliste geführt.
Bei Samsung tweakt man bei einigen Geräten nicht mehr, was dazu führte, dass zum Beispiel das Samsung Galaxy Note 3 wieder ganz normal aufgeführt ist. Weiterhin die Delisted-Eselsmaske haben auf: HP Slatebook, HTC One Mini, HTC One (M7) und das Samsung Galaxy Note 10.1.
Seit heute hat die Liste einen weiteren prominenten Besucher, auch die neue Ausgabe des HTC One – das M8 – flog aus der Liste. In der Erklärung beruft man sich unter anderem auf die Testberichte und die Ergebnisse von AnandTech, die wohl Anomalien aufweisen sollen. Hier ging es konkret um einen High Performance Modus, der während des Benchmarks freigeschaltet wurde – allerdings auch von anderen Nutzern freigeschaltet werden kann. In unserem Kurztest kam es allerdings mit einem europäischen Gerät nicht zu großen Veränderungen.
Beim HTC One (M8) wurden laut Futuremark Regeln gebrochen, z.B. dass kein Gerät eine Benchmark-Software erkennen dürfe und daraufhin schneller arbeite. Hierdurch kämen im Schnitt 15 Prozent mehr Leistung auf den Tacho, was die Werte in den Ranglisten falsch darstellen würde. Durch die Möglichkeit, den High Performance Modus vom User oder durch Apps zu ändern, sei eine „Echtwelt-Performance-Messung“ nicht möglich.
Und ich? Ich bin froh, dass ich Benchmarkpunkte nicht in eine Kaufentscheidung mit einbeziehe. Das Ganze erinnert mich an die frühen 2000er Jahre, als ATI, NVIDIA und Co um die Benchmarkkrone kämpften und vieles optimierten. Im Real World-Einsatz hatte der Nutzer davon leider nicht wirklich etwas. Kurz gesagt: mir ist es Lachs, ob mein Smartphone 30.000 oder 40.000 Punkte in irgendeinem Mullu Mullu-Benchmark macht, sofern es meine täglichen Anwendungen glatt laufen lässt.
Irgendwie halte ich das für Schwachsinn. Ich werde doch auch nicht von Futuremark ausgeschlossen, wenn ich meine Desktop Karte mit Ln2 oder He2 Kühle, Übertakte und dadurch besser als andere bin …
@ leandros ich glaube es geht hier eher um eine Referenz zum Vergleich der Modelle, nicht um die maximale Punktzahl welche dein Rechner auf die Uhr bringt.
ich wunder mich eh immer über die ganzen news wie „xy nutzt nun doch die cpu qualcom „(vnummer +5)“ statt qualcom „vnummer“, meiner Meinung nach genau so eine farce wie „OMG, 15 statt nur läppische 12 Megapixel !!11elf“. Wenn Kamerawerte angegeben werden dann sollte da z.B. auch die Sensorgröße stehen.
@Leandros Wie nepa schon sagte, geht es nicht darum, wie es bei dir abschneidet. Du würdest dich sicherlich darüber aufregen, wenn du dir aufgrund von Benchmarks ein Gerät kaufst und dann feststellst, dass es nur durch Benchmark-Manipulation so tolle werte aufweisen konnte und andere Geräte eigentlich besser sind.
Mich persönlich haben Benchmarks bei Smartphones herzlich wenig interessiert. Selbst bei Grafikkarten für PCs o. ä. interessiert mich der virtuelle Schwanzvergleich schon lange nicht mehr. Da schaue ich lieber nach praxisnahen Werten, wie z. B. die FPS bei bestimmten Spielen. Und so entscheide ich bei Smartphones lieber aufgrund meiner Bedürfnisse anstatt nach dem „Mullu Mullu-Benchmark“ 😀
@de_noogle:
Wir koennen hier nicht halten!
Mit Kitkat ermöglichen selbst 512 MB RAM und ein älterer 1 GHz-Dualcore eine gute Performance, das war die Mittelklasse von 2011. Mit allem, was darüber hinaus an Technik im PC steckt, werden zusätzlich immer anspruchsvollere Spiele möglich. Wer braucht da noch Benchmarks? Für mich ist das digitaler Schwanzvergleich, wenn ich ein Smartphone kaufe, zählen andere Dinge: Eine gute Haptik, Design, die Robustheit des Gehäuses, bei Android-Geräten außerdem die Möglichkeit, ohne Garantieverlust ein Custom-ROM installieren zu können, vielleicht auch die Kamera-Qualität.
Ansonsten ist diese Aktion einfach Betrug am Kunden. Ich möchte keinem Laien erklären müssen, dass das Gerät mit 17.000 eben doch langsamer ist, als das Gerät mit 15.000, obwohl doch jedes PC-Magazin die Neutralität und Qualität des Benchmarks XY positiv hervorgehoben hat.
@Stefan: Mittlerweile hat sich bei PC-Grafikkarten der Unfug eingebürgert, dass sich einzelne Spiele-Schmieden an einen Grafikkartenhersteller binden und auf dessen aktuelle Karten hinoptimieren – oder die anderen künstlich verlangsamen, je nach Sichtweise. Wenn zwei vergleichbar schnelle Karten von AMD und Nvidia in neutralen Benchmarks auf gleicher Höhe liegen, im Spiel X aber die Nvidia-Karte 20% schneller ist, und im Spiel Y die AMD-Karte, ist das genauso doof, wie dieses HTC auf Steroiden.
@Georg: Weiß ich, aber ich gebe dir nur eingeschränkt recht, dass es doof ist. Denn wenn Spiel X (bzw. generell das Spieleaufgebot von Schmiede Y) genau das ist, was ich spielen möchte, kann mir das ja egal sein, warum es so gut läuft. Es entspricht trotzdem meinen Bedürfnissen. Darauf kommt es ja an.
Da ist mir natürlich bewusst, dass es bei anderen Spielen o. ä. wieder anders laufen wird. Es ist meiner Meinung nach trotzdem um einiges praxisnäher als 3D Mark & Co.
@Stefan: Dann finde ich es eben einfach doof, dass ich früher eine Universalgrafikkarte kaufen konnte, aber heute eine Grafikkarte trotz starker Hardware nur eine beschränkte Vorauswahl an Spielen (bzw. an Publishern) ruckelfrei auf meinen Bildschirm bringt. Natürlich sagen die Hersteller nicht, dass es so ist, aber man bekommt es durch den Vergleich verschiedener Game-Tests schnell heraus.
Ich hätte nichts gegen günstigere, subventionierte Battlefield- oder CoD-Grafikkarten. Aber durch die aktuell üblichen Tricksereien werden FPS-Vergleiche und Benchmarks als Vergleichswert für den Kunden einfach hinfällig.