Benchmark-Voodoo: Dieser Beitrag erreicht 1337 Punkte

Für viele technisch interessierte Menschen sind Benchmarks interessant. Und es gibt auch Bereiche, in denen sie Sinn ergeben. Nämlich dann, wenn ein immer gleiches Szenario unter festgelegten Kriterien zur verfügung steht um Ding X zu testen. Das große Problem ist dann immer gegeben, wenn da andere Dinger mit reinspielen in Sachen Software oder auch Subjektivität. Benchmarks gibt es seit gefühlten 200 Jahren und Hersteller haben schon immer versucht, diese für sich zu nutzen. So schön kann ich „bescheißen“ umschreiben.

Das war früher mit Grafik-Benchmarks so, da wurden schon Treiber auf Benchmarks optimiert und es wird heute noch gemacht. Ich verweise jetzt nicht auf die ganzen Smartphone-Hersteller, die diesen Weg eingeschlagen haben, ihr erinnert euch sicher noch an die Berichterstattung. Ich will nicht alles verteufeln, das schrieb ich bereits.

Wenn eine CPU oder GPU in Aufgabe XY etwas leistet, dann kann man dies sicher auf Referenzgeräten messen. Dann kann ich sagen: Das Gerät in dieser Ausbaustufe ab Werk hat in Aufgabe A 95.000 Punkte erreicht. Wenn ich jetzt aber daher komme und auf meinem vollgeballerten Smartphone mit 52 Apps im Hintergrund was teste, dann kann der Spaß schon anders aussehen.

Ist wie bei Akku-Tests. Da stellen sich dann irgendwelche Leute hin und verkaufen das als Rocket Science. Ich kann hier auch was aufbauen und sagen „Joa, in meinem Labortest kam das Gerät auf Wert X“. Das kann jeder Trottel machen und schreiben. Das Schlimme dabei: Viele Menschen glauben es einfach. Weil der das sagt, muss es stimmen. ISSO!

Beispiel Akkutest: Eine auf die Minute genaue Angabe ist unmöglich, da so unfassbar viele Szenarien wie WLAN oder mobiler Netzzugang, Signalstärke, automatische Displayhelligkeit, Außenbedingungen, Art der Anwendung und ähnliches mit in die Laufzeit des Akkus reinspielen. Das macht viel aus. Und mit viel meine ich keine kleine Minutenangabe bei Akkulaufzeiten. Wer da seinen Benchmark als die einzige Wahrheit verkaufen will, der hat nicht mehr alle Latten am Zaun.

Neben den nicht konstanten Prüf-Szenarien gibt es noch das Thema Subjektivität. Das gibt es bei Kameras zum Beispiel. Es gibt da den für viele Hersteller „Quasi-Standard“ DxO Mark. Die haben sich mit ihren Tests eine schicke Nische geschaffen. Werden von Herstellern hofiert und genießen das Vertrauen zahreicher Leser. Unbestritten: Die machen eine echt gute Arbeit. Wie das Ganze dann aber unter dem Strich verkauft wird, ist völliger Quatsch. Oder anders. Wie viele Menschen das interpretieren ist Quatsch.

Auch hier kann ich ins Labor gehen oder eines aufbauen und Smartphone-Kameras testen. Farbwiedergabe, Low Light und so weiter. Ihr kennt das. Aber: Das ist meistens was, was ihr NIEMALS in eurem Leben nutzen werdet. Also die meisten von uns. Standardeinstellung für die meisten und es gibt sicherlich welche, die knipsen im Pro-Modus. Und auch die Ergebnisse des Pro-Modus könnt ihr nicht vergleichen. Völlige Kack-Ergebnisse kann ich sehen, logo. Aber bei Flaggschiffen… da sind die Unterschiede teils so minimal beim Knipsen von Fotos im Standardmodus.

Und die Kamera im Standardmodus wird doch nicht einmal alleine bewertet. Da spielt Video mit rein und diese und jene Einstellung. Und am Ende steht ein Wert, der euch sagt, wie gut die Kamera sein soll. Sind aber 90 Punkte schlechter als 95, wenn die 90er-Kamera in der Disziplin, die du dauern nutzt, besser ist als die 95er? Ich könnte da noch fünf Absätze drüber schreiben, warum diese Werte als blanke Zahlen gelesen und interpretiert völliger Scheiß sind. Genau wie Berichterstattungen, die Konsolen, Computer, Smartphones und Co mit X von 5 Sternen bewerten. Derart komplexes in eine 5-Sterne-Wertung? Das kann mir auch keiner erklären. Es sei denn, man verweist auf ein Gefühl, eine Subjektivität.

Benchmarks und Bewertungen sind natürlich nicht von Grund aus Blödsinn. Es gibt Tendenzen, die man mit konkreten Beispielen und Mehrwert unterfüttern kann. Bei Low-Light-Fotos kann man beispielsweise sagen, dass das totaler Schrott ist – oder eben ein tolles Foto. Das sieht man. Aber es ist halt alles sehr komplex und vieles ist Subjektivität.  Und dennoch ist das vielen wichtig und ich gehe das gerne auch in Testberichten durch. Wenn einer einen Wert eines Benchmarks haben will, ist das ok für mich.

Nur ich gebe nichts drauf und sage den Leuten auch, dass die nicht so viel drauf geben sollen. Wenn ich ein Smartphone in die Hand bekomme, welches beim Gaming-Benchmark derbe abrockt, aber dessen System-Oberfläche schon laggy ist…ernsthaft, dann kann man den Müll gleich in die Tonne treten. Zumindest ich würde gerne. Kommt halt immer auf die Präferenz des Nutzers an.

Und man sollte auch aufhören, den Leuten mit reinen Benchmarkwerten ohne Mehrwertinfos auf den Sack zu gehen. Fiktives Gespräch: „Meine Smartphone-Kamera ist viel besser als die deine, denn im XYZ-Benchmark hat die 98 Punkte und deine nur 95“. „Ja, trotzdem machst du scheiß Fotos, weil du mit der Kiste nicht umgehen kannst. Und weil deine Kamera in der Kategorie, die du zu 99% nutzt, nachweislich schlechter ist als die meine.“. Peng. Ihr wisst sicherlich, worauf ich hinaus will.

In diesem Sinne: Legt nicht so viel Wert auf Zahlen, die eng beieinander liegen und die aus dem Test extrem komplexer Dinge zugrunde liegen sollen. Oder Sternebewertungen. Zahlen alleine sagen nichts aus, die Verpackung um die Zahl herum muss gut unterfüttert sein.

Der Autor Carsten Knobloch bewertet diesen Artikel mit 4,2 von 5 Punkten.