Es geht um nicht weniger als den elementaren Anspruch der quantifizierenden Sozialforschung: Erkenntnisse, die in einer relativ kleinen Stichprobe gewonnen werden, sollen für eine wesentlich größere Gruppe, die sogenannte Grundgesamtheit, aussagekräftig sein. Doch kein Thema in der Online-Forschung ist so heftig umstritten, wie die Frage der „Repräsentativität“ von ausschließlich online durchgeführten Umfragen. Bei allen technischen Vorteilen, die der Siegeszug des Internets zweifelsohne auch für die Umfrageforschung mit sich bringt, so hat die Online-Welt ausgerechnet bei der so entscheidenden Frage der Stichprobenbildung innerhalb des eigenen Mediums keine zufriedenstellende Lösung im Angebot. Dabei ist der Weg, auch unter dem Gesichtspunkt der Repräsentativität, „gute“ Online-Forschung durchzuführen gar nicht sonderlich kompliziert: Benötigt werden jedoch qualitativ hochwertige Stichproben. Doch während es für Face-to-Face- oder Telefonbefragungen funktionierende und von einem breiten Forscherkreis allgemein anerkannte Auswahlgrundlagen gibt, fehlt eine vergleichbare Basis in der Online-Welt. Gute Stichproben für Online-Befragungen müssen also weiterhin ihren Ursprung in der Offline-Welt haben. Entsprechende Auswahlgrundlagen sind, beispielsweise im forsa.omninet-Panel, verfügbar und liefern schnelle und zuverlässige Ergebnisse. Ein Plädoyer für mehr Qualitätsbewusstsein in der Online-Forschung.

Als großes europäisches Feldinstitut bietet Norstat in vielen Ländern alle Methoden der Datenerhebung an. Wir sind überzeugt, dass diese unterschiedlichen Methoden ihre Daseinsberechtigung haben, obwohl, oder gerade weil wir die Stärken und Schwächen der jeweiligen Ansätze gut kennen. In der jüngsten Diskussion um Repräsentativität konnte man jedoch bisweilen den Eindruck gewinnen, dass die unterschiedlichen Erhebungsmethoden gegeneinander ausgespielt werden sollten.

Dieser Vortrag wird zunächst kurz unseren Qualitätsanspruch in der Onlineforschung skizzieren, damit Daten aus unseren Panelbefragungen so repräsentativ wie möglich sind. Dabei gehen wir insbesondere auf die Rolle von Panelrekrutierung, Quotenstichproben und Gewichtung für die Datenqualität ein.

Darauf aufbauend werden empirische Ergebnisse einer Eigenstudie zur schwedischen Parlamentswahl 2018 vorgestellt, bei der die Datenqualität unterschiedlicher Stichproben miteinander verglichen wurde: telefonisch rekrutierte Panellisten versus online rekrutierte Panellisten, jeweils gewichtet und ungewichtet. Die Ergebnisse dieser Studie werfen ein Licht auf die Frage, welchen Einfluss die Rekrutierung von Panelteilnehmern auf die Datenqualität einer Studie hat und ob hier mögliche Verzerrungen durch Gewichtung nachträglich ausgeglichen werden können.

Multilevel-Regression und Poststratifizierung (MRP, Park, Gelman and Bafumi, 2004) ist eine immer häufiger genutzte Alternative zu klassischen Design-basierten Ansätzen der Survey-Statistik. Allerdings existieren gewisse Einschränkungen, die die Nutzung dieser Methode erschweren. Hierzu zählen a) die Verfügbarkeit der entsprechenden Poststratifizierungsgewichte, b) das Wachstum der Menge von Poststratifizierungszellen und c) ein potentiell hoher Rechenaufwand. Während mit Blick auf a) große Fortschritte gemacht wurden (Leeman and Wasserfallen 2017), scheinen die Probleme b) und c) die Anwendung von MRP in einer kommerziellen Echtzeit-Anwendung, in der tausende Modelle pro Tag berechnet werden müssen, unmöglich zu machen. Als Lösung dieser Probleme schlagen wir einen zweistufigen Ansatz vor, der hierarchische logistisches Regressionsmodelle und Poststratifizierung mit Variablenselektion durch das LASSO (Tibshirani 1996) kombiniert. Wir präsentieren dieses Modell im Rahmen einer Fallstudie zur Echtzeit-Anwendung von MRP bei Civey, Deutschlands größtem online Access-Panel. Civey nutzt ein Widget-basiertes Empfehlungssystem, welches mehr als 4000 Umfragen über ein Netzwerk von gegenwärtig mehr als 25000 Webseiten ausspielt. Gewichtete Ergebnisse werden den Nutzern in Echtzeit angezeigt und müssen entsprechend häufig neu berechnet werden. Hieraus entsteht die Notwendigkeit zur schnellen Modellschätzung, welche mit einem klassischen MRP-Ansatz nicht möglich wäre. Durch die Anwendung des zweistufigen Verfahrens können wir die Vorteile von MRP mit den Anforderungen einer Echtzeit-Anwendung verbinden. Wir legen die Validität unseres Ansatzes durch den Vergleich mit den Ergebnissen eines vollständigen MRP-Modells dar und diskutieren weitere Herausforderungen und offene Fragen unserer Methode.