Stiftung Warentest Hotline Test 2018: Blamable Ergebnisse – aber auch für die Tester selbst (unsere Meinung)!

Im Stiftung Warentest Hotline Test nimmt die Test-Institution Kunden-Hotline, Live-Chat und Chat-Bots auseinander und prüft neben der Wartezeit auch die Qualität der Antworten. Ihr seht schon: Auch die Stiftung Warentest mischt sich immer mal wieder mit eigenen Untersuchungen ins Thema Mobilfunk und Handy ein, unter anderem auch mit einem eigenen Stiftung Warentest Netztest.

Klar, dass wir uns die Ergebnisse des Stiftung Warentest Hotline Test 2018 näher anschauen. Nur: So ganz glücklich sind wir mit dem Vorgehen nicht. Einige Fragen bleiben durchaus offen. Am besten lest ihr den Beitrag der Warentest einmal selbst (Heft am Kiosk holen oder im Einzelabruf für 1 €), um unsere Kritik an der Hotline-Kritik nachzuvollziehen.

Stiftung Warentest Hotline Test 2018

Der Stiftung Warentest Hotline-Test 2018 wurde in der Ausgabe 10/2018 veröffentlicht. Wie gewohnt könnt ihr auch online auf den Test zugreifen und euch die kostenpflichtige PDF-Datei herunterladen.

Die Stiftung Warentest hat sich fünf bundesweit und sechs regional tätige Telekommunikationsanbieter herausgesucht und sowohl Live-Chat als auch Hotline und – falls vorhanden – Chat-Bots (also Computerprogramme, die automatisiert Antworten geben) einen Qualitäts-Check verpasst.

Das Ergebnis fällt unserer Meinung nach eher nüchtern aus, keiner der Anbieter erreichte wirklich gute Noten. Chat-Bots sind laut Testern eher eine Spielerei denn ein nützliches Tool – also noch weit davon entfernt, wirklich nützlich zu sein.

Am ehesten rät die Stiftung Warentest noch dazu, die telefonische Hotline zu wählen: Hier wurde in 1.100 Test-Anrufen die Wartezeit an der Hotline ermittelt.

Stiftung Warentest: Hotline-Test Ergebnisse

Stiftung Warentest unterteilt den Hotline-Test in insgesamt drei Abschnitte (Hotline, Live-Chat, Chat-Bots). Die Endnote setzt sich dabei aus den Teilnoten

• Kompetenz, darunter Verständlichkeit der Antworten und Problemlösung (50%)
• Kundenservice, darunter Erreichbarkeit, Transparenz, Freundlichkeit und Hilfsbereitschaft (20%) und
• Wartezeit (30%) zusammen

Testfragen an der Hotline

Den Mitarbeitern der Kundenhotline und im Live-Chat sowie den Chat-Bots wurden drei Fragen gestellt, die sich unserer Meinung nach alle auf Mobilfunk konzentrieren:

• »Mein Patenkind bekommt mein altes Handy. Welcher Tarif passt und was muss ich beachten?«
• »Kann ich die Fußball-WM im Frankreich-Urlaub über die Apps von ARD und ZDF sehen? (= Geoblocking)«
• »Was sind Ping-Anrufe und wie kann ich mich davor schützen?«

Hotlines im Test: Mangelhaft wird zum Standard

Nachfolgend die Ergebnisse, die Stiftung Warentest ermittelt hat:

Ergebnisse Telefon-Hotline

• Untersuchte Anbieter (11): 1&1, congstar, Telekom, o2, Vodafone, EWE, Vodafone, M-Net, Netcologne, Unitymedia
• Bestes Ergebnis: befriedigend (2,6) für EWE
• Schlechtestes Ergebnis: Pyur (5,2) für Vodafone
  • Im Durchschnitt: ausreichend (3,52)

Ergebnisse Live-Chat

• Untersuchte Anbieter (4): 1&1, congstar, Telekom, o2
• Bestes Ergebnis: mangelhaft (4,7) für congstar
• Schlechtestes Ergebnis: mangelhaft (5,4) für 1&1
  • Im Durchschnitt: mangelhaft (4,95)

Ergebnisse Chat-Bot

• Untersuchte Anbieter (4): o2, congstar, Untymedia, Vodafone
• Bestes Ergebnis: mangelhaft (5,0) für o2
• Schlechtestes Ergebnis: mangelhaft (5,5) für alle anderen
  • Im Durchschnitt: mangelhaft (5,38)

Angaben ohne Gewähr

Hotline-Test der Stiftung Warentest: Kritisch oder einfach nur negativ?

Verwunderlich ist zuerst einmal, dass bei den Warentestern komplett gegenteilige Ergebnisse herauskommen als bei anderen Test-Institutionen. Ihr erinnert euch vielleicht an den Hotline-Test der Connect? Dort erhielt Vodafone die Note Sehr Gut, Telekom, o2 und 1&1 schafften ein Gut. Deutliche Unterschiede also zu den mangelhaften Ergebnissen in diesem Test. Hat sich innerhalb weniger Monate so viel verändert?

Unsere Kritik am Vorgehen der Warentester

Eigentlich nicht. Hier müssen wir tatsächlich das Vorgehen der Stiftung Wartentest kritisieren, sorry. Im Prinzip fallen uns drei Hauptkritikpunkte auf, die dem Test einiges an Aussagekraft nehmen:

• viele wichtige Anbieter fehlen
• regionale Anbieter überrepräsentiert
• Fragestellung passt nicht immer zum untersuchten Anbieter

Zuerst einmal: Wo sind die großen Mobilfunk-Discounter? ALDI TALK, Tchibo Mobil, Klarmobil und LIDL CONNECT sollten bei einer großen Untersuchung der Telekommunikationsanbieter nicht unter den Tisch gekehrt werden. Nicht zu vergessen die Drillisch-Marken wie winSIM, smartmobil.de und PremiumSIM – alles Kandidaten für günstige Handytarife, nach denen in der Untersuchung ja explizit gefragt wurde. Und mobilcom-debitel? Suchen wir auch verzweifelt!

Sicherlich ist löblich, dass auch regionale Anbieter in die Untersuchung einbezogen wurden. Aber: Diese sind im Verhältnis 5:6 überrepräsentiert. Und: Unitymedia oder Pyur sind sicherlich nicht die allerersten Marken, die uns einfallen, wenn wir einen neuen und günstigen Handytarif suchen.

Nur ein Beispiel: Unitymedia hat insgesamt drei Tarife im Programm, bei denen es sich nicht unbedingt um Kindertarife handelt. So gesehen können wir die Antwort des Unitymedia-Mitarbeiters schon nachvollziehen, der Kunde solle sich vom passenden Anbieter beraten lassen – besser (und ehrlicher), als dem Nachwuchs einen teuren Allnet-Tarif anzudrehen. Streng genommen gibt’s also eine schlechte Note für die Beratungs-Kompetenz, obwohl der Anbieter schlicht und ergreifend gar keine entsprechenden Tarife im Portfolio hat – also gar nicht beraten kann.

Warentest: Guter kritischer Ansatz – aber blamabel für Verbraucherjournalismus

Klar: Dass Hotline-Mitarbeiter nicht wissen, was Ping-Anrufe sind und dass Chat-Bots deutlich weniger können als Amazons Alexa, das ist ärgerlich und sollte definitiv in entsprechenden Tests Erwähnung finden. Auch die Frage nach der Erreichbarkeit stellt sich immer wieder: 60 Minuten Wartezeit an der Hotline, das darf nicht sein. Klarer Fall für schlechte Noten, das sehen wir genau so. Und die Schönfärberei der CONNECT-Hotline-Ergebnisse passt ja auch nicht zur Lebenswirklichkeit.

Nur: Warum die Auswahl auf so wenige Anbieter beschränken, die zudem vorrangig Festnetz- und DSL- und nicht Handytarife verkauft (sehen wir mal von Telekom, Telefónica und Vodafone als Netzbetreiber generell ab).

Unsere Meinung: Den Test als das sehen, was die Überschrift der Online-Ausgabe verspricht: »Beraten Roboter besser als Menschen?« Hier darf gerne ein klares »Nein« erteilt werden.

Unserer Meinung nach vermischen die Warentester viel zu viele einzelne Punkte miteinander – und beschränken den Test gleichzeitig auf viel zu wenige (Festnetz-)Anbieter. Was das Test-Ergebnis als nicht repräsentativ gestaltet.

Mehr als ein Fingerzeig kann der Test also nicht sein. Und für Verbraucherjournalismus ganz allgemein ist diese Leistung der Stiftung Warentest eher blamabel − undifferenziert, ein seltsamer Fragenkatalog (könnte man auch bei „Wer wird Millionär“ stellen – und dort gibt es immerhin 4 Antwortmöglichkeiten) und dazu kein wirklicher Mobilfunk-Hotline-Test. Den Qualitätsansprüchen der Stiftung Warentest darf dies nicht genügen, da sind wir in der Vergangenheit einfach anderes gewohnt gewesen. Dabei hätten wir uns einen kritischen aussagekräftigen Test wirklich einmal gewünscht.

Also: Bitte wiederholen, aber mit wirklichen Mobilfunk-Anbietern (wenn ihr etwas für Handytarife herausbekommen wollt) und wirklichen Fragen. Einmal mehr zeigt sich leider, dass hier keine richtigen Mobilfunkexperten am Werk waren.