Wir informieren über Qualität der Stichproben

Die „Akte Marktforschung“ des Spiegel bewegt die Branche der Markt- und Sozialforscher. Das Hamburger Magazin hatte recherchiert, dass einzelne MaFo-Unternehmen in ihren Interviews bewusst gefälscht und betrogen haben sollen. Per Kommentar melden sich seitdem weitere ehemalige Mitarbeiter – auch sehr großer, namhafter Unternehmen – und berichten von ihren Erfahrungen. Bestätigungen von der Basis sozusagen.

Dass schwarze Schafe herangezogen werden, um auf eine ganze Branche zu schließen, finden „ehrenwerte Forscher“ zu Recht unfair. Nichtsdestotrotz ist der Diskurs zur Qualität der Stichproben längst überfällig. Zumal es nicht nur kleine Einzelfälle sind, die hier aufgedeckt werden.

Eine wahre Begebenheit

Ich erinnere mich gut, als ich während eines Marktforschungspraktikums in den Achtziger Jahren über mehrere Tage hinweg in einer Fußgängerzone im belgischen Grenzland Interviews für den Belgischen Rundfunk durchführte. In einer Hand der Quotenplan mit demografischen Vorgaben quer durch die Bevölkerung, in der anderen Hand der fünfseitige Fragebogen zu den Hörgewohnheiten und Wünschen der Menschen dieser Region.

Zuletzt fehlte mir, über Stunden hinweg, ein Interview mit einem Mann, der 70+ Jahre alt sein sollte. Kein Mensch weit und breit und es lag nur an mir, ob ich das Interview erfand und einfach selbst die Kreuzchen machte (weil ich vielleicht der Meinung war, ich hätte in den 30 Interviews davor „die Welt der belgischen Rundfunkhörer verstanden“) oder ob ich eine weitere Stunde stehen blieb, in der Hoffnung, den älteren Herren aufzutreiben. Wie meinen Sie, habe ich damals entschieden?

Von Micky Mäusen in der Marktforschung

Sicher fragen Sie sich: „Wie sieht es mit meiner Forschung und den Ergebnissen, mit denen ich arbeite, aus?“.

Uns liegt seit der Gründung von Dialego im Jahr 1999 das Thema Qualität am Herzen. Schließlich begannen wir zu einer Zeit, in der Online-Forschung noch neu und – im betrieblichen Kontext – recht unbekannt war. Wir sind die ersten Schritte in Richtung digitaler Forschung mit unseren Kunden gegangen und haben gemeinsam die Saat für eine digitale Zukunft gesetzt. So gehörte zu den allerersten Fragen an uns: „Wie stellt Ihr sicher, dass Ihr ehrliche Antworten bekommt? Dass hinter dem Bildschirm auch derjenige sitzt, der er oder sie vorgibt zu sein?“

Ich nenne die Antwortgeber dieser Fake-Interviews, also Menschen, die vorgeben, jemand anderes zu sein, um damit etwa ein Incentive abzugreifen, „Micky Mäuse“. Sie erfinden Interviews, eine andere Meinung, eine weitere Identität. Dass Fake-Interviews nun nicht nur vom Einzelnen hinter dem Bildschirm, sondern auch von Interviewern kommen sollen, deren Auftrag eigentlich lautete, persönliche Interviews durchzuführen, oder dass gleich ganze Unternehmen ihre Mitarbeiter zu Fake-Interviews ermuntern oder gar auffordern, verdeutlicht: Es ist wichtig, hinter die Kulissen zu schauen und die persönliche Dienstleistung der Marktforschung nicht wie eine gesichtslose Maschinerie zu betreiben – oder wie eine Comic-Geschichte zu schreiben, die in Entenhausen spielen könnte (wobei wir uns die Frage stellen könnten, wer genau auf Dagobert Ducks Geldhaufen sitzt ;)). Denn es liegt auf der Hand: Nur wer reale Interviews durchführt, kann valide Aussagen über die reale Welt treffen.

Maßnahmen, die reale Welt zu erfassen

Gerne erläutern wir, wie Dialego sicherstellt, dass wir die reale Welt befragen und welche Maßnahmen wir etabliert haben, um Fake-Interviews zu erkennen.

Stichprobenquelle

Dialego setzt seit vielen Jahren auf ein eigenes Panel, das proprietäre Dialego-Panel, das nur hauseigenen Kunden zur Verfügung steht. Wir halten es in insgesamt sechs Ländern vor: Deutschland, UK, Frankreich, Polen, Österreich und Schweiz, wobei das deutsche Panel – unser Heimatmarkt – einen klaren Schwerpunkt bildet.

In Zeiten des Kostendrucks mag es geradewegs als Luxus begriffen werden, ein eigenes Panel zu betreiben. Aber dies ist der beste Weg, Kontrolle über die Stichprobe zu haben. Es ist teuer, samt personeller und technischer Infrastruktur, ja － aber jeden Cent wert. Wir wissen von einigen Kunden, dass es genau die Qualität des Panels ist, die sie an unserer Arbeit besonders schätzen.

Incentivierung

Zu einem „guten Panel“ gehört, dass jeder Befragte incentiviert wird, auch die Teilnehmer, die ausgescreent wurden, weil sie nicht zur Zielgruppe einer Studie gehören. Wer seine Teilnehmer nicht belohnt, riskiert einen Panel-Effekt: Die betroffenen Teilnehmer geraten bei zukünftigen Umfragen in Versuchung, keine ehrliche Antwort zu geben, sondern erfinden als Micky Maus Antworten, um partout in die Stichprobe zu gelangen. (Ähnliches passiert vermutlich mit dem menschlichen Interviewer, der in einer gewissen Zeit Interviews zustande bringen soll.)

Der Kosteneffekt ist auch hier nicht ohne. Eine Beispielrechnung: Nehmen wir an, wir wollen Elektroautofahrer interviewen. Im Jahr 2017 gab es 34.000 Elektroauto-Besitzer in Deutschland, bei insgesamt 55,6 Millionen in Deutschland zugelassenen Pkws. Dies entspricht einer Inzidenz von 0,6 % oder anders herum betrachtet: Jeder 1.635ste Autobesitzer ist ein Elektroauto-Besitzer. Jetzt mag man in manchem Panel bereits die Hintergrundinfo erfragt haben, ob und welches Auto im Haushalt verfügbar ist. Aber da sich dies a) täglich ändern kann und b) Zielgruppendefinitionen von Projekt zu Projekt schwanken können, sind die wenigsten Panels bereits immer passend vorstrukturiert. Nur ein Incentive für Screenouts beugt Fälschungen hier vor.

Wer regelmäßig eine „schwierige“ Zielgruppe für seine Forschung braucht, dem raten wir zum eigenen Panel, heute auch oftmals als Online-Community betrieben. Inzwischen betreuen wir einige solcher kundenindividueller Zielgruppen.

Partner mit dem gleichen Maß bemessen

Den gleichen Qualitätsmaßstab legen wir an unsere externen Partner an. Dialego führt jährlich bis zu 500.000 Interviews in mehr als 70 Ländern weltweit durch, das heißt, wir sind regelmäßig darauf angewiesen, auch externe Sample-Partner in unsere Projekte einzubeziehen. Die Erfahrung mit dem eigenen Panel hilft uns sehr dabei, auch deren Qualität einschätzen zu können. Wir haben ein umfassendes Wissen darüber, wer ein verlässlicher Partner im Markt ist und wer nicht － und arbeiten nur mit bewährten Partnern zusammen. Unsere Qualitätschecks (siehe übernächster Abschnitt) geben uns darüber deutlich Auskunft.

Intrinsische Motivation

Wir setzen im Dialego-Panel bevorzugt auf intrinsische Motivation und vermeiden auch damit Panel-Effekte durch ein „Jagen“ von Incentives. Mit unserer eigenen Dialego Foundation for Children haben wir früh Strukturen geschaffen, die der Teilnahme an unseren Umfragen einen besonderen Sinn geben. Auch wenn wir unseren Mitgliedern freistellen, ob sie sich für einen Gutschein ihrer Wahl, die Überweisung aufs eigene Konto oder die gute Tat entscheiden, wird doch etwa jeder fünfte bis zehnte Euro gespendet.

Qualität der Daten

Die Qualität der Daten lässt sich sehr gut über Datenchecks prüfen. Diese führen wir sowohl technisch als auch manuell durch. Technische Checks umfassen beispielsweise das Erkennen von Mustern und die Dauer der Teilnahme. Dies ist – seit Anbeginn – Vorteil der digitalen Marktforschung. Und weil wir die entsprechenden Algorithmen inhouse entwickeln, liegen sie zudem voll unter unserer Kontrolle.

Auffällige Ausreißer schneiden unsere Systeme automatisch ab. Dabei beschränken sich die automatische Kontrollen nicht allein auf quantitative Aussagen, sondern umfassen ebenso offene Nennungen. Mit unseren Algorithmen der künstlichen Intelligenz verdichten wir Texte rasend schnell und erkennen auch darin sofort Auffälligkeiten. Oftmals führt das zum Ausschluss eines gesamten Interviews, nicht selten auch zum Ausschluss eines Befragten aus dem Panel, wenn dieser wiederholt „cheated“. Hier hat die Online-Forschung einen Vorteil: Die Daten liegen stets sofort digital vor, das heißt, bereits zur Feldzeit ist ersichtlich, ob zusätzliche Interviews nötig sind, um die Stichprobe zu erfüllen. Und selbst wenn einmal nach Feldende auffällt, dass eine bestimmte Teil-Stichprobe noch weitere Interviews benötigt, lassen sich diese in kürzester Zeit ergänzen.

Faktor Mensch

Nicht zuletzt ist der Faktor Mensch der allerwichtigste Aspekt. Wer zeigt Haltung? Wem vertrauen Sie?

Ich rate Ihnen, sprechen Sie mit der Führung eines jeden Dienstleisters, mit dem Sie zu tun haben und ziehen Sie ihre eigenen Soft Skills zu Rate. Ihre Menschenkenntnis. Stellen Sie Fragen, aber horchen Sie vor allem in sich selbst hinein, ob sie Ihrem Gegenüber zutrauen, dass er oder sie lügt. Danach treffen Sie Ihre Entscheidung, mit wem Sie arbeiten wollen.

Erfahrungsgemäß sind kleinere Strukturen besser überschaubar. Ganz im Gegensatz zu kleinteiligen Prozessen, in denen der Einzelne kaum noch Verantwortung trägt. Aber machen Sie sich selbst ein Bild.

Wir führen bei Dialego weltweit und seit Jahren Image-Trackings für globale Marken durch, ohne wesentliche Gewichtungen, um Stichprobenprobleme auszugleichen. Sowohl diese Längsschnitt-Analysen im Feld der Marken als auch strategische Entscheidungen in Innovationsprozessen beantworten wir mit großem Erfolg.

Von Mensch zu Mensch

Primärforschung muss eine belastbare Antwort auf eine unternehmerische Frage geben. Oftmals geht es um strategische Entscheidungen und Invests in Millionenhöhe, sei es für neue Maschinen, um ein innovatives Produkt zu fertigen oder eine Mediakampagne mit entsprechendem Budget. Die Entscheidung für eine billige Erhebung kann schließlich teuer zu stehen kommen.

Unsere Empfehlung lautet daher: Lassen Sie uns gemeinsam mehr auf die Effektivität schauen. Welche Schritte sind nötig? Welche sind die richtigen, die strategisch relevanten Studienschritte? Lassen Sie uns in regelmäßigen persönlichen Treffen und Workshops gemeinsam mit diesen Erkenntnissen arbeiten. Wir garantieren Ihnen, dass wir Forschungsergebnisse mit der gebotenen Sorgfalt und Qualität generieren und in Ihrem Sinne prüfen. Dafür bürge ich mit meinem Namen.

Einladung zum Gespräch

Diese Information ist eine Einladung unsererseits, den Diskurs über einwandfreie Stichproben und effektive glaubwürdige Forschung zu führen. Vor allem aber ist es die Einladung, Vertrauen in die Arbeit Ihres Forschungspartners Dialego zu gewinnen.

Wenn Sie weitere Fragen haben, stehe ich gerne persönlich zur Verfügung. Und vielleicht erzähle ich Ihnen dann, wie ich mich einst in der belgischen Fußgängerzone zum fehlenden Fragebogen entschied.