Categories
BBD

‘Sonntagsfrage’: Alcune considerazioni.

Il quotidiano sudtirolese Tageszeitung ieri ha pubblicato i risultati di un sondaggio rappresentativo (Sonntagsfrage — ovvero: «che cosa votereste se domenica si celebrassero le elezioni?») per cercare di capire se e come gli elettori sanzionerebbero il comportamento dei politici nel cosiddetto «scandalo pensionistico».

Più che il risultato stesso del sondaggio è interessante come viene recepito dai media, soprattutto se paragonato al comportamento (a dir poco scettico e distanziato) che hanno tenuto nei confronti del sondaggio di Süd-Tiroler Freiheit sulla secessione.

Secondo l’istituto Dr. Gruber & Partner, che ha effettuato la rilevazione, la SVP perderebbe 6,8 punti percentuali (p.p.) rispetto alle ultime elezioni alla Dieta Sudtirolese — ma perderebbero anche i Freiheitlichen (-10,4 p.p)., i Verdi (-4 p.p.), Süd-Tiroler-Freiheit (-3,7 p.p.), il PD (-2,1 p.p.) e BürgerUnion (-1,9 p.p.). Gli unici a guadagnare sarebbero i pentastellati con un’impennata pari a 9 punti.

Tutti questi dati vengono analizzati e commentati, sia da Tageszeitung che da Salto.bz e Corriere, come se fossero «reali» e senza considerare il potenziale errore (la cosiddetta deviazione standard) indicata da Dr. Gruber & Partner nella misura di ben ±3,48 punti. Che cosa significa? — In parole povere vuol dire che fra il valore minimo realistico e quello massimo può sussistere una forbice massima di quasi sette punti percentuali, dovuti alla dimensione del campione (700 intervistati). A questa forbice andrebbero aggiunte altre possibili fonti di errore, come la mancata risposta, le risposte non veritiere o eventuali imprecisioni dovute all’incomprensione della domanda o alla sua formulazione poco chiara e suggestiva.

Tutto ciò, aggiunto al fatto che né Tageszeitung, né Salto sanno distinguere fra percentuale (%) e punti percentuali (p.p.), la dice lunga sulla capacità  (di auto-)critica dei media.

Due pesi e due misure

Ma non è tutto: Infatti nel caso del sondaggio ‘secessionista’ di Süd-Tiroler Freiheit praticamente tutti i media hanno constatato come i dati non fossero sicuri e verificabili. Ebbene: premesso che esistono tecniche sondaggistiche molto affidabili, anche i sondaggi telefonici (a campione rappresentativo) come quello effettuato da Dr. Gruber & Partner non sono per nulla più «sicuri» di quel che fu il sondaggio (non rappresentativo) di Süd-Tiroler Freiheit. In entrambi i casi è necessaria una buona dose di fiducia (nell’istituto di ricerca e, rispettivamente, nel partito organizzatore del sondaggio), perché in sostanza potrebbero essersi inventati i risultati. Di sana pianta.

Vedi anche: 1/

Einen Fehler gefunden? Teilen Sie es uns mit. | Hai trovato un errore? Comunicacelo.

18 replies on “‘Sonntagsfrage’: Alcune considerazioni.”

Ich würde langsam fast behaupten was in Südtirol derzeit abläuft ist mehr ein Medienskandal, denn ein politischer Skandal.
Ein größeres Medienhaus versucht wohl anscheinend die Bude solange sturmreif zu schießen um das Wahlergebnis im eigenen Sinne umzubiegen. Einige andere Medien bedienen sich ebenfalls ganz unverblümt des Stammtischs, wohl um einige Exemplare mehr zu verkaufen oder einige Klicks mehr zu generieren.
Gediegene Recherche, Fehlanzeige. Hintergründe, sachliche Informationen, Fehlanzeige. Gefühl für die Relationen, Fehlanzeige. Verantwortungsbewusstsein für das demokratische Gesamtgefüge, Fehlanzeige.
Die Art wie mit Skandalen umgegangen wird sagt viel über eine Gesellschaft aus. Ein Großteil der Südtiroler Medien hat dabei mehr als versagt.

Abgesehen davon, daß 700 Personen keine große Stichprobe sind und die Zusammensetzung uns nicht bekannt ist (soll nach “Zufall” erfolgt sein) finde ich, daß dies ein sehr ungünstiger Moment für so eine Umfrage war, da sich in den letzten Tagen die Nachrichten überschlugen. Hier nur ein Auszug:
– 21.3.: Ulli Mair: “Gelder nicht für Ausländer nutzen”
– 22.3.: Grüne arbeiten Rentenskandal auf
– 23.3.: Tappeiner tritt als Pensplan-Präsident zurück
– 24.3.: Munter: “Lasse Mitgliedschaft ruhen”
– 25.3.: Mawe-Kandidatur wird von SVP-Kasse bezahlt
– 26.3.: Stocker und Schuler haben die Rentenvorschüsse abgesegnet
– 27.3.: Erkenntnis, Renten-Liste wurde später beigelegt
– 28.3.: Helmuth Renzler verspricht alles nachzurechnen
– 29.3.: Pöder trennt sich von Ladins und WirSüdtiroler
Die meisten deser Nachrichten haben oder hätten die Wähler sicher beeinflusst (die Umfrage fand zwischen dem 22. und 28.März statt).

Die benötigte Stichprobengröße lässt sich statistisch durch Vorgabe der Populationsgröße, dem Konfidenzintervall und dem Konfidenzlevel genau bestimmen. Bei 500.000 Wahlberechtigen und dem von der Studie genannten Vertrauensintervall liegt eine Stichprobengröße von 700 innerhalb der korrekten Parameter.

Für ein Referendum, wo man nur mit Ja oder Nein stimmen kann, wären 700 eine angemessene Stichprobe.
Bei einer Auswahl von 14 Parteien sind 700 “Meinungen” viel zu wenige um eine stabile Hochrechnung machen zu können. Die Auswahl sollte nämlich für jede Partei genügend Wähler jeden Alters, Geschlecht, Wohnort, Bildung etc. vorsehen um präzise hochrechnen zu können.

Zum Vergleich: Die “ARD Sonntagsfrage”, die seit 1997 von Infratest dimap durchgeführt wird , befragt ca. 1000 Deutsche Bundesbürger um ein Bild der politischen Landschaft in Deutschland zu erstellen. Die Anzahl der Parteien und Gruppierungen, die in Deutschland zu den Bundes- oder Länderwahlen antreten kann in der Größenordnung mithalten, aus dem Bauch heraus waren das neulich 40-50 Stück (man sieht in der Regel nur 6-7, da alles andere unter “sonstige” zusammengefasst wird). Der Trick ist natürlich, dass es Infratest dimap eine sehr gute Kohorte aufzubauen vermag. Ob das der Agentur, die die NSTZ beuaftrag, auch gelingt, vermag ich nicht zu beurteilen.

In der Tat geht es nicht um das Verhältnis zwischen der Anzahl von Befragten und der Grundgesamtheit — sprich: bei einer größeren Grundgesamtheit müssen nicht mehr Befragungen durchgeführt werden, um eine ähnliche Genauigkeit zu erzielen. Selbst in den USA werden auf »gesamtstaatlicher« Ebene nur rund 1.000 Bürger befragt.

The formulae […] for the margin of error assume that there is an infinitely large population and thus do not depend on the size of the population of interest. According to sampling theory, this assumption is reasonable when the sampling fraction is small. The margin of error for a particular sampling method is essentially the same regardless of whether the population of interest is the size of a school, city, state, or country, as long as the sampling fraction is less than 5%.

Quelle.

@senoner: schlage vor, du würfelst jetzt 700 mal und wenn du dann einmal unter 10 prozent sechser gewürfelt hast, dann hören wir uns wieder.

Also hör mal hunter! Wenn ich nur zwischen ja und nein wählen kann, reichen locker 700 Stichproben.
Weil hier aber 14 Parteien plus “Andere” zu Auswahl stehen und wir wissen, dass junge Leute eher die Freiheitlichen wählen und die Italiener eher italienische Parteien wählen, sollte bei der Auswahl der Stichprobe schon sichergestellt werden, dass jede demografische Gruppe angemessen vertreten ist. Zumindest sollte man die demografische Zusammensetzung der Personen kennen, wenn man zuverlässig hochrechnen will.

Gruber&Partner schreibt, dass die Stichprobe “at random” erfolgte. Eine Statistik mit Stichproben nach Zufall ergibt aber starke Abweichungen, da man per Telefon nur eine verzerrte Stichprobe zusammensetzen kann, wenn man dabei die demografischen Daten (Geschlecht, Alter, Wohnort, Bildung, Sprachgruppe, …) nicht berücksichtigt.

Siehe auch http://de.wikipedia.org/wiki/Literary_Digest_Desaster

Hallo Senoner,

ohne für Gruber&Partner eine Lanze brechen zu wollen – da ich, wie ich bereits schrieb, die Güte ihres Panels nicht kenne – kann ich zur Klärung der Zweifel vielleicht folgendes beitragen: es erstaunt Außenstehende immer wieder, wiewenig Stichproben für eine repräsentative Aussage bei sozialdemografische Studien benötigt werden.

Dieses Bauchgefühl trügt aber: Mit dem richtigen statistischen Fundament lässt sich aus einem Panel mit 700 Teilnehmern die politische Meinung von halb Deutschland ermitteln, auch bei einer Parteilandschaft von 40-50 Parteien, wie ich bereits hier schrieb.

Es ist Aufgabe der Institute dafür zu sorgen, dass die von dir vermuteten Verfälschungen (Bias) eben nicht zutreffen – ansonsten geschieht nämlich tatsächlich das wie in der von dir zitierten “Literary Digest” Studie, wo eine *absurd hohe Anzahl* von Interviews geführt wurden, aber eben mit der falschen Methodik:

Bei der Befragung wurden zwei Fehler bei der Stichprobenauswahl gemacht. Zum einen wurden die 10 Millionen Befragten aus Telefonverzeichnissen, registrierten Autobesitzern, Listen von Mitgliedern bestimmter Vereine und Abonnenten der Zeitschrift genommen. Der Besitz eines Autos, eines Telefons oder der Bezug des The Literary Digest war nach der Weltwirtschaftskrise nur gut-situierten Haushalten möglich, die eher republikanisch wählten. Wie jedoch nachgewiesen wurde, war das Hauptproblem, dass die Beantwortung der Befragung freiwillig war.[3] Das Rücksenden des Fragebogens hing davon ab wie stark der Befragte an der Wahl interessiert war; dies war offensichtlich bei den Roosevelt-Gegnern stärker der Fall als bei den Roosevelt-Unterstützern.

Wie schaltet man also zum Beispiel das Alters-, Geschlechts- oder Mobiltelefonbias eines Panels aus? Eine einfache aber effektive Methode ist die der doppelten Zufallsprinzips: zuerst werden Haushalte ausgewählt, dann innerhalb des Haushalts ein Mitglied streng nach dem Zufallsprinzip. Das kann zum Beispiel der Geburtsmonat sein – also man verlangt das Gespräch mit dem Haushaltsmitglied mit (zum Beispiel) dem niedrigsten Geburtsmonat. Ist dieser Mensch nicht erreichbar (weil beispielsweise Student in Innsbruck und nur über Mobiltelefon erreichbar) dann wird diese Person nachgetrackt bis sie erreicht wird, und nicht auf eine Ersatzperson ausgewichen.

Das ist, was ich mit “Güte der Kohorte” (oder des Panels meinte: ich will keine Lanze für Gruber&Partner brechen, weil ich nicht weiss, wie sorgfältig sie arbeiten. Wenn sie aber ihr Handwerk verstehen (und ich hätte keinen Grund zur Annahme, dass dem nicht so sei), dann ist 700 Teilnehmer völlig ausreichend für eine gute Aussage.

Wem es interessiert, von infratest dimap (ARD Sonntagsfrage) habe ich auf die Schnelle keine Infos zur Zusammensetzung des Panels gefunden, aber der Konkurrent vom ZDF (Forschungsgruppe Wahlen) ist da offener: für eine Aussage in ganz Deutschland werden 1000 Teilnehmer (West) und 700 Teilnehmer (Ost) interviewer. Die Übergewichtung vom Osten hat besondere Gründe und wird rechnerisch wieder herausgerechnet, so dass insgesamt ca. 1250 Interviews für ganz Deutschland geführt werden. Das Prinzip des doppelten Zufallsprinzips ist hier auch gut erklärt:

http://www.forschungsgruppe.de/Umfragen/Politbarometer/Methodik/

Die Güte ihres Panels kenne ich auch nicht, und es wird uns auch nichts Genaueres mitgeteilt. Ich wollte daher auch nicht weiter spekulieren.

Mein Hauptkritikpunkt an dieser Studie war aber der ungünstige Zeitpunkt, da sich in den letzten Tagen die Nachrichten ja regelrecht überschlagen haben und mal waren die einen die Bösen, dann wieder die anderen die Dummen, die einen die an Gier erkrankt sind, die anderen an Demenz… Als Wähler weiss man da wirklich nicht mehr wen man wählen sollte.

Im Morgentelefon von RAI Südtirol wird in einem Nebensatz erwähnt, dass die Umfrage per Telefon und online erfolgte. Warum geht niemand der Frage nach was online in diesem Fall bedeutet?

Warum geht niemand der Frage nach was online in diesem Fall bedeutet?

Das möchte ich auch erfahren. Und bei der Telefon-Umfrage möchte ich auch wissen, ob nur Festnetznummern angefuren wurden. Wie man weiß, haben junge Leute ja keinen Festnetzanschluss mehr und Handynummern sind normalerweise nicht im Telefonbuch zu finden. Also vermute ich, dass man mit dem Telefon vor allem die älteren Wählerschichten erreicht, die aus “Trägheit” weiterhin SVP wählen.
Vielleicht ist sich Gruber&Partner dieser Schieflage bewusst, und sie wollten daher mit der Online-Umfragen die junge Wählerschaft erreichen um ein Gleichgewicht herzustellen. Aber ich will hier nicht weiter spekulieren…

700 Befragungen sind durchaus ok, wenn sie seriös gemacht werden. Offensichtlich wurde eine Mischform von Telefonbefragungen und Onlinebefragungen gewählt, die wiederum bei seriöser Durchführung in Ordnung ist. Ich habe auf der Website von Dr. Gruber & Partner keine genauen Informationen gefunden, vermute aber, dass das Online-Panel mit verwendet wird:

Der Online Panel von DRG&P ist ein Adressenpool aus potenziellen Teilnehmern an Online-Befragungen. Die Befragten werden für ihre Teilnahme mittels E-Mail eingeladen und Antworten in der Regel binnen Kürze auf den Fragebogen, den sie online ausfüllen. Die Registrierung der Teilnehmer ermöglicht eine schnelle zufallsbasierte Stichprobenziehung entweder aus der Grundgesamtheit aller Panel-Teilnehmer oder aus speziellen Teilgruppen, z.B. junge Frauen zwischen 18 und 25 Jahren.
Durch die Abfrage zentraler Hintergrundvariablen (“Stammdaten”) besteht die Möglichkeit, gezielt Stichproben aus dem Adresspool zu ziehen. Die Stammdaten können dabei als ergänzende Information der Befragung zugespielt oder zur Quotierung bzw. Gewichtung der Stichprobe eingesetzt werden.

Somit werden telefonische Befragungen mit einer Online Befragung ergänzt. Das Meinungsforschungsinstitut kennt die Persönlichkeitsmerkmale und kann somit eine repäsentative Befragung durchführen. Problematischer ist hingegen die Analyse der Daten, hier zeigen unsere Medien einfach keine statistischen Grundkenntnisse. Wenn Ergebnisse, die eine Schwankungsbreite von mehr als 3% aufweisen, in den Medien mit zwei Stellen hinter dem Komma abgedruckt werden, dann ist das schlicht Irreführung. Hier wird Genauigkeit vorgetäuscht, welche die Daten aber nicht aufweisen können. Seriös ist das mit Sicherheit nicht.

Nein, ansonsten würde zum Grundfehler auch noch ein Quantiesierungsfehler hinzukommen. Der Leser kann/sollte die +-3% beachten.

Ich vermute, das meiste, was wir in den letzten Monaten von Seiten der Medien unter dem Schlagwort “Aufdeckung” gehört und gelesen haben, war nicht zuletzt darauf ausgerichtet, die, sich nach Landtagswahl und Selbstbestimmungsbefragung im Aufwind befindliche Unabhängigkeitsbewegung zu schwächen.
Für den Machterhalt wird mit allen Mittlen gekämpft.
Also: Warm anziehen und blos nicht einschüchtern lassen!!!

Leave a Reply

Your email address will not be published. Required fields are marked *