Die Stiftung Warentest hat in ihrer Ausgabe 02/2004 (Seite 45f.) den Technisat DigiCorder S1 – ein digitaler Satelliten-Receiver – mit „Befriedigend 2,8“ bewertet. Da ich in meinem letzten Bericht für Ciao, den ich am 14. Januar 2004 eingestellt habe, auch dieses Gerät „beurteilt“ habe und dabei eigentlich zu der Ansicht gelangt bin, dass der Receiver gar nicht so schlecht sei, war ich über die weniger positive Beurteilung bei Stiftung Warentest etwas überrascht. Grund genug für mich, der Sache mal nachzugehen.
Insgesamt hat die Stiftung Warentest vier digitale Satelliten-Receiver mit Festplatte und drei ohne Festplatte getestet. Der DigiCorder S1 gehört zur ersten Gruppe, da er eine Festplatte besitzt. Getestet wurden:
- Topfield TF 5000 PVR
- Humax CI-8100 PVR 80 GB
- Technisat DigiCorder S1 80
- Zehnder DX 6042 V
In dieser Reihenfolge erhielten die Geräte folgende Gesamtbewertungsnoten: „Gut (1,8)“, „Gut (2,2)“, „Befriedigend 2,8“ und „Ausreichend (3,8)“.
Die Darstellung der Bewertungsnoten erfolgt tabellarisch; die Spaltensortierung richtet sich absteigend nach der Gesamtbewertungsnote (so wie oben angegeben): Also wer sich mal auf die Schnelle orientieren will, der schaut einfach auf die erste Spalte, dann sieht erschon den Testsieger. Die Gesamtbewertungsnote setzt sich aus folgenden prozentual anteiligen Einzelbewertungen zusammen: „Bild (35 %)“, „Ton (10 %)“, „Handhabung (35 %)“, „Umwelt (10 %)“ und „Vielseitigkeit (10 %)“.
Soweit, so gut. Ich gehe mal davon aus, dass die Bewertungen im Einzelnen technisch korrekt verlaufen sind und soweit subjektive Beurteilungen notwendig waren, diese frei von Befangenheit oder Vorurteilen vorgenommen wurden. Immerhin finanziert sich die Stiftung Warentest nicht durch Werbeeinnahmen oder ähnlichem.
Als ob ich es ahnte, bei dieser Ergebniskonstellation kann etwas nicht stimmen! Also rechnete ich mit spitzen Bleistift nach und siehe da: Nach den anteilig gewichteten Einzelbewertungen – wie sie in der Tabelle angegeben sind – hätte der DigiCorder bei einem rechnerischen Notenwert von 1,835 die Gesamtnote „Gut (1,8)“ erhalten müssen. Und nicht „Befriedigend (2,8“). Für alle die nachrechnen wollen: „Bild (35 % Note 1,1)“, „Ton (10 % Note 1,5)“, „Handhabung (35 % Note 2,2)“, „Umwelt (10 % Note 3,8)“ und „Vielseitigkeit (10 % Note 1,5).
Ha, habe ich gedacht, da schreibe ich mal an die Stiftung Warentest per Email und „melde“ den Fehler. Nach einer Woche kam die Antwort wie folgt:
„Bei der Gruppe "UMWELT" haben wir einen Abwertungseffekt angewandt, siehe Abwertungszeichen *). Die Art der Abwertung, ist auf Seite 45 in der Rubrik "Ausgewählt,
geprüft, bewertet" - beschrieben. Zitat: "Bei 'ausreichend' oder 'mangelhaft' bei den Umwelteigenschaften kann das test-Qualitätsurteil nur eine Note besser sein".
Da die Umwelteigenschaften die Note 3,8 haben, konnte das test-Qualitätsurteil nur eine Note besser sein, also 2,8.“
Ich war paff. Weil die Umwelteigenschaften die Note 3,8 … (?).
Also schaute ich nach und musste erstaunt zur Kenntnis nehmen, dass im Unterschied zu den anderen Geräten der DigiCorder eine Leistungsaufnahme von 9,7 W hat (die beiden vorhergehend platzierten Geräte hatten jeweils 4,5 W und 6,4 W) und unter der Rubrik „Verarbeitung“ hatte der DigiCorder nur ein „Befriedigend“ bekommen, wobei die anderen Geräte jeweils ein „Gut“ bekamen. In den zwei weiteren Unterkriterien zu den „Umwelteigenschaften“ gab es gegenüber den anderen Geräten keine abweichenden Bewertungen.
Innerlich regte sich bei mir Unmut, denn wie kann es sein, dass die Umwelteigenschaften so auf einmal ins Gewicht fallen. Um es Vorweg zu nehmen, nicht, dass ich glaube, dass die Umwelteigenschaften wie z.B. die Standby-Leistungsaufnahme seien für die Gesamtbewertung unwichtig und damit vernachlässigbar, aber in diesem Fall fand ich das Ergebnis der Bewertung völlig daneben und schrieb an Stiftung Warentest wie folgt:
„ … vielen Dank für Ihre Antwort. Sie haben Recht, ich habe die Abwertungsspielregeln überlesen.
Allerdings halte ich die Abwertung um eine ganze Note auf Grund des „mangelhaft“ bei der Umwelteigenschaft für übertrieben. Der Einfluss der Note Umwelteigenschaft auf die Gesamtbewertung ist nach dieser Abwertungsregel damit von ursprünglich 10 % auf stolze 48,7 % geklettert.
Meines Erachtens führt diese Bewertungsmethode zu einer völlig verzerrten Bewertung, die einseitig die so genannte „Umwelteigenschaften“ eines Gerätes präferieren. Die wirklich wichtigen Eigenschaften, wie beispielsweise Bild und Ton, werden damit in den Hintergrund gedrängt. Wie in diesem Fall, führt das zu einem extremen Ergebnis: Obwohl das Gerät gegenüber den anderen die besten Bild-, Ton- und Handhabungseigenschaften hat, belegt der DigiCorder nur Platz Drei.
Leider sind Sie auf das Testergebnis nicht weiter eingegangen, so dass die tabellarische Gegenüberstellung der Bewertungen relativ unkommentiert geblieben ist. Jedoch nimmt die bloße Gegenüberstellung und Hervorhebung der Gesamtbeurteilungsnoten in einer der ersten Zeilen der Tabelle eine erste (psychologisch) wichtige Auswahlfunktion ein. Ein potenzieller Käufer, der sich bei Ihrer Zeitschrift Rat holen will, wird auf den so genannten „ersten Blick“ ggf. den DigiCorder S 1 aussondieren und auf eine weitere nähere Betrachtung verzichten, da es ja vermeintlich zwei bessere Geräte gibt. Auf die Idee, dass durch die mangelhafte Umwelteigenschaft die Bewertung um eine ganze Note nach unten korrigiert wurde, muss man nun wirklich nicht kommen. Zumal man annehmen kann, dass die Umwelteigenschaft – auch wenn sie eine angemessene Rolle bei der Bewertung spielen sollte – bei diesen Geräten nicht dominiert. Deshalb halte ich die so gemachte Darstellung der Bewertungsergebnisse aber auch die angewandte Bewertungsmethode für irreführend. Wie ich meine, wird damit der Grundsatz der Objektivität verletzt.
Für den Fall, dass Ihnen die Umwelteigenschaften wirklich wichtig sein sollten, würde ich es angebrachter finden, wenn die Bewertung der Umwelteigenschaften von den übrigen Bewertungen trennen. So fände ich es viel besser, wenn der DigiCorder S1 in diesem Fall in den (wichtigen) Qualitätseigenschaften ein „sehr gut“, und in einer weiteren Bewertungsnote für Umwelteigenschaften ein „mangelhaft“ bekommen hätte. Ein paar erläuternde Sätze zu den Umwelteigenschaften würden diese Darstellung abrunden. Diesen Teil des Testes würde ich dann „Öko-Test“ nennen, bei dem sich der Leser von dessen Ergebnis selbst ein Bild machen kann.“
Dieser Brief wurde dann wie folgt beantwortet:
„… wir werden Ihre Anregungen bei unseren hausinternen, "z. Zt. ständig andauernden" Diskussionen zu diesem Thema einbeziehen.“
„… „z. Zt. ständig andauernden" Diskussionen zu diesem Thema“ ... . Ja, das kann ich bei dieser Sachlage auch voll verstehen.
Aber warten wir es mal ab, was die „andauernden“ Gesprächsrunden für die Zukunft bringen.
Ich habe darauf hin die letzten Ausgaben der Stiftung Warentest auf ähnliche Bewertungsverzerrungen in Folge solcher „Abwertungseffekte“ durchgeschaut. Ich war erstaunt, was ich noch so gefunden habe. Hier ein weiteres exemplarisches Beispiel:
Im Heft 03/2003 wurde bei der Bewertung von DVD-Rekordern ohne Abwertungseffekte gearbeitet. Das erscheint vernüftig aber … im Heft 12/2003 – gerade mal neun Monate später - bei der Bewertung von DVD-Playern: Bei „mangelhafter Handhabung“ wurde ein Abwertungseffekt eingearbeitet. Angesichts der Ähnlichkeiten bei den zu bewertenden Produkten ist das plötzliche Auftauchen dieses Abwertungseffektes nicht mehr einzusehen. Aber genauso gut hätte man auch die „Umwelteigenschaften“ in die Reihe der Abwertungseffekte einbeziehen können. Denn Standby-Schaltungen gibt es bei diesen Geräten genauso.
Also frage ich mich, wo sind hier die objektiven Bewertungsregeln? Werden die Bewertungsregeln willkürlich jedes Mal neu aufgestellt?
Fazit:
Tja, ich kann angesichts solcher Feststellungen nur jedem potenziellen Käufer, der Rat bei der Stiftung Warentest hinsichtlich einer anstehenden Kaufentscheidung sucht, dringend empfehlen, sich die Tests genauer anzuschauen. Voreilige Entscheidungen anhand der „Gesamtbewertungsnote“ müssen nicht immer die eigenen Kaufpräferenzen widerspiegeln.
17.04.2008 09:23
Sehr gut recherchiert und nachgehakt! Leider setzten sich viel zu wenig Endverbraucher mit der "Stiftung Warentest" auseinander, sondern vertrauen blind dem Aufkleber "Testsieger" bzw. "Stiftung Warentest gut" auf dem Endprodukt
11.02.2008 14:57
Einerseits ein interessanter Aspekt, anderseits kann man über Testergebnisse, wenn die Parameter feststehen, nur schwer diskutieren.
23.12.2007 22:11
Super Interessanter Bericht. ich habe das nie kontrolliert, kaufe aber häufig den Testsieger. Hat sich das mittlerweile geändert?? Kannst ja noch mal nachrechnen;-))) würde mich interessieren!!!