Il quotidiano sudtirolese Tageszeitung ieri ha pubblicato i risultati di un sondaggio rappresentativ o (Sonntagsfrage — ovvero: «che cosa votereste se domenica si celebrassero le elezioni?») per cercare di capire se e come gli elettori sanzionerebbero il comportamento dei politici nel cosiddetto «scandalo pensionistico».
Più che il risultato stesso del sondaggio è interessante come viene recepito dai media, soprattutto se paragonato al comportamento (a dir poco scettico e distanziato) che hanno tenuto nei confronti del sondaggio di Süd-Tiroler Freiheit sulla secessione.
Secondo l’istituto Dr. Gruber & Partner, che ha effettuato la rilevazione, la SVP perderebbe 6,8 punti percentuali (p.p.) rispetto alle ultime elezioni alla Dieta Sudtirolese — ma perderebbero anche i Freiheitlichen (-10,4 p.p)., i Verdi (-4 p.p.), Süd-Tiroler-Freiheit (-3,7 p.p.), il PD (-2,1 p.p.) e BürgerUnion (-1,9 p.p.). Gli unici a guadagnare sarebbero i pentastellati con un’impennata pari a 9 punti.
Tutti questi dati vengono analizzati e commentati, sia da Tageszeitung che da Salto e Corriere, come se fossero «reali» e senza considerare il potenziale errore (la cosiddetta deviazione standard) indicata da Dr. Gruber & Partner nella misura di ben ±3,48 punti. Che cosa significa? — In parole povere vuol dire che fra il valore minimo realistico e quello massimo può sussistere una forbice massima di quasi sette punti percentuali, dovuti alla dimensione del campione (700 intervistati). A questa forbice andrebbero aggiunte altre possibili fonti di errore, come la mancata risposta, le risposte non veritiere o eventuali imprecisioni dovute all’incomprensione della domanda o alla sua formulazione poco chiara e suggestiva.
Tutto ciò, aggiunto al fatto che né Tageszeitung, né Salto sanno distinguere fra percentuale (%) e punti percentuali (p.p.), la dice lunga sulla capacità (di auto-)critica dei media.
Due pesi e due misure
Ma non è tutto: Infatti nel caso del sondaggio ‘secessionista’ di Süd-Tiroler Freiheit praticamente tutti i media hanno constatato come i dati non fossero sicuri e verificabili. Ebbene: premesso che esistono tecniche sondaggistiche molto affidabili, anche i sondaggi telefonici (a campione rappresentativo) come quello effettuato da Dr. Gruber & Partner non sono per nulla più «sicuri» di quel che fu il sondaggio (non rappresentativo) di Süd-Tiroler Freiheit. In entrambi i casi è necessaria una buona dose di fiducia (nell’istituto di ricerca e, rispettivamente, nel partito organizzatore del sondaggio), perché in sostanza potrebbero essersi inventati i risultati. Di sana pianta.
Vedi anche ‹1
18 replies on “Sonntagsfrage: Alcune considerazioni.”
Ich würde langsam fast behaupten was in Südtirol derzeit abläuft ist mehr ein Medienskandal, denn ein politischer Skandal.
Ein größeres Medienhaus versucht wohl anscheinend die Bude solange sturmreif zu schießen um das Wahlergebnis im eigenen Sinne umzubiegen. Einige andere Medien bedienen sich ebenfalls ganz unverblümt des Stammtischs, wohl um einige Exemplare mehr zu verkaufen oder einige Klicks mehr zu generieren.
Gediegene Recherche, Fehlanzeige. Hintergründe, sachliche Informationen, Fehlanzeige. Gefühl für die Relationen, Fehlanzeige. Verantwortungsbewusstsein für das demokratische Gesamtgefüge, Fehlanzeige.
Die Art wie mit Skandalen umgegangen wird sagt viel über eine Gesellschaft aus. Ein Großteil der Südtiroler Medien hat dabei mehr als versagt.
Abgesehen davon, daß 700 Personen keine große Stichprobe sind und die Zusammensetzung uns nicht bekannt ist (soll nach “Zufall” erfolgt sein) finde ich, daß dies ein sehr ungünstiger Moment für so eine Umfrage war, da sich in den letzten Tagen die Nachrichten überschlugen. Hier nur ein Auszug:
– 21.3.: Ulli Mair: “Gelder nicht für Ausländer nutzen”
– 22.3.: Grüne arbeiten Rentenskandal auf
– 23.3.: Tappeiner tritt als Pensplan-Präsident zurück
– 24.3.: Munter: “Lasse Mitgliedschaft ruhen”
– 25.3.: Mawe-Kandidatur wird von SVP-Kasse bezahlt
– 26.3.: Stocker und Schuler haben die Rentenvorschüsse abgesegnet
– 27.3.: Erkenntnis, Renten-Liste wurde später beigelegt
– 28.3.: Helmuth Renzler verspricht alles nachzurechnen
– 29.3.: Pöder trennt sich von Ladins und WirSüdtiroler
Die meisten deser Nachrichten haben oder hätten die Wähler sicher beeinflusst (die Umfrage fand zwischen dem 22. und 28.März statt).
Warum sind 700 Personen keine große Stichprobe? Wie groß müsste sie deiner Meinung nach sein?
Die benötigte Stichprobengröße lässt sich statistisch durch Vorgabe der Populationsgröße, dem Konfidenzintervall und dem Konfidenzlevel genau bestimmen. Bei 500.000 Wahlberechtigen und dem von der Studie genannten Vertrauensintervall liegt eine Stichprobengröße von 700 innerhalb der korrekten Parameter.
Für ein Referendum, wo man nur mit Ja oder Nein stimmen kann, wären 700 eine angemessene Stichprobe.
Bei einer Auswahl von 14 Parteien sind 700 “Meinungen” viel zu wenige um eine stabile Hochrechnung machen zu können. Die Auswahl sollte nämlich für jede Partei genügend Wähler jeden Alters, Geschlecht, Wohnort, Bildung etc. vorsehen um präzise hochrechnen zu können.
Zum Vergleich: Die “ARD Sonntagsfrage”, die seit 1997 von Infratest dimap durchgeführt wird , befragt ca. 1000 Deutsche Bundesbürger um ein Bild der politischen Landschaft in Deutschland zu erstellen. Die Anzahl der Parteien und Gruppierungen, die in Deutschland zu den Bundes- oder Länderwahlen antreten kann in der Größenordnung mithalten, aus dem Bauch heraus waren das neulich 40-50 Stück (man sieht in der Regel nur 6-7, da alles andere unter “sonstige” zusammengefasst wird). Der Trick ist natürlich, dass es Infratest dimap eine sehr gute Kohorte aufzubauen vermag. Ob das der Agentur, die die NSTZ beuaftrag, auch gelingt, vermag ich nicht zu beurteilen.
In der Tat geht es nicht um das Verhältnis zwischen der Anzahl von Befragten und der Grundgesamtheit — sprich: bei einer größeren Grundgesamtheit müssen nicht mehr Befragungen durchgeführt werden, um eine ähnliche Genauigkeit zu erzielen. Selbst in den USA werden auf »gesamtstaatlicher« Ebene nur rund 1.000 Bürger befragt.
Quelle.
in deutschland werden durchschnittlich 1.000 Personen benutzt
61.688.485 Wahlberechtigte!
@senoner: schlage vor, du würfelst jetzt 700 mal und wenn du dann einmal unter 10 prozent sechser gewürfelt hast, dann hören wir uns wieder.
Also hör mal hunter! Wenn ich nur zwischen ja und nein wählen kann, reichen locker 700 Stichproben.
Weil hier aber 14 Parteien plus “Andere” zu Auswahl stehen und wir wissen, dass junge Leute eher die Freiheitlichen wählen und die Italiener eher italienische Parteien wählen, sollte bei der Auswahl der Stichprobe schon sichergestellt werden, dass jede demografische Gruppe angemessen vertreten ist. Zumindest sollte man die demografische Zusammensetzung der Personen kennen, wenn man zuverlässig hochrechnen will.
Gruber&Partner schreibt, dass die Stichprobe “at random” erfolgte. Eine Statistik mit Stichproben nach Zufall ergibt aber starke Abweichungen, da man per Telefon nur eine verzerrte Stichprobe zusammensetzen kann, wenn man dabei die demografischen Daten (Geschlecht, Alter, Wohnort, Bildung, Sprachgruppe, …) nicht berücksichtigt.
Siehe auch http://de.wikipedia.org/wiki/Literary_Digest_Desaster
Hallo Senoner,
ohne für Gruber&Partner eine Lanze brechen zu wollen – da ich, wie ich bereits schrieb, die Güte ihres Panels nicht kenne – kann ich zur Klärung der Zweifel vielleicht folgendes beitragen: es erstaunt Außenstehende immer wieder, wiewenig Stichproben für eine repräsentative Aussage bei sozialdemografische Studien benötigt werden.
Dieses Bauchgefühl trügt aber: Mit dem richtigen statistischen Fundament lässt sich aus einem Panel mit 700 Teilnehmern die politische Meinung von halb Deutschland ermitteln, auch bei einer Parteilandschaft von 40-50 Parteien, wie ich bereits hier schrieb.
Es ist Aufgabe der Institute dafür zu sorgen, dass die von dir vermuteten Verfälschungen (Bias) eben nicht zutreffen – ansonsten geschieht nämlich tatsächlich das wie in der von dir zitierten “Literary Digest” Studie, wo eine *absurd hohe Anzahl* von Interviews geführt wurden, aber eben mit der falschen Methodik:
Wie schaltet man also zum Beispiel das Alters-, Geschlechts- oder Mobiltelefonbias eines Panels aus? Eine einfache aber effektive Methode ist die der doppelten Zufallsprinzips: zuerst werden Haushalte ausgewählt, dann innerhalb des Haushalts ein Mitglied streng nach dem Zufallsprinzip. Das kann zum Beispiel der Geburtsmonat sein – also man verlangt das Gespräch mit dem Haushaltsmitglied mit (zum Beispiel) dem niedrigsten Geburtsmonat. Ist dieser Mensch nicht erreichbar (weil beispielsweise Student in Innsbruck und nur über Mobiltelefon erreichbar) dann wird diese Person nachgetrackt bis sie erreicht wird, und nicht auf eine Ersatzperson ausgewichen.
Das ist, was ich mit “Güte der Kohorte” (oder des Panels meinte: ich will keine Lanze für Gruber&Partner brechen, weil ich nicht weiss, wie sorgfältig sie arbeiten. Wenn sie aber ihr Handwerk verstehen (und ich hätte keinen Grund zur Annahme, dass dem nicht so sei), dann ist 700 Teilnehmer völlig ausreichend für eine gute Aussage.
Wem es interessiert, von infratest dimap (ARD Sonntagsfrage) habe ich auf die Schnelle keine Infos zur Zusammensetzung des Panels gefunden, aber der Konkurrent vom ZDF (Forschungsgruppe Wahlen) ist da offener: für eine Aussage in ganz Deutschland werden 1000 Teilnehmer (West) und 700 Teilnehmer (Ost) interviewer. Die Übergewichtung vom Osten hat besondere Gründe und wird rechnerisch wieder herausgerechnet, so dass insgesamt ca. 1250 Interviews für ganz Deutschland geführt werden. Das Prinzip des doppelten Zufallsprinzips ist hier auch gut erklärt:
http://www.forschungsgruppe.de/Umfragen/Politbarometer/Methodik/
Die Güte ihres Panels kenne ich auch nicht, und es wird uns auch nichts Genaueres mitgeteilt. Ich wollte daher auch nicht weiter spekulieren.
Mein Hauptkritikpunkt an dieser Studie war aber der ungünstige Zeitpunkt, da sich in den letzten Tagen die Nachrichten ja regelrecht überschlagen haben und mal waren die einen die Bösen, dann wieder die anderen die Dummen, die einen die an Gier erkrankt sind, die anderen an Demenz… Als Wähler weiss man da wirklich nicht mehr wen man wählen sollte.
Im Morgentelefon von RAI Südtirol wird in einem Nebensatz erwähnt, dass die Umfrage per Telefon und online erfolgte. Warum geht niemand der Frage nach was online in diesem Fall bedeutet?
Das möchte ich auch erfahren. Und bei der Telefon-Umfrage möchte ich auch wissen, ob nur Festnetznummern angefuren wurden. Wie man weiß, haben junge Leute ja keinen Festnetzanschluss mehr und Handynummern sind normalerweise nicht im Telefonbuch zu finden. Also vermute ich, dass man mit dem Telefon vor allem die älteren Wählerschichten erreicht, die aus “Trägheit” weiterhin SVP wählen.
Vielleicht ist sich Gruber&Partner dieser Schieflage bewusst, und sie wollten daher mit der Online-Umfragen die junge Wählerschaft erreichen um ein Gleichgewicht herzustellen. Aber ich will hier nicht weiter spekulieren…
700 Befragungen sind durchaus ok, wenn sie seriös gemacht werden. Offensichtlich wurde eine Mischform von Telefonbefragungen und Onlinebefragungen gewählt, die wiederum bei seriöser Durchführung in Ordnung ist. Ich habe auf der Website von Dr. Gruber & Partner keine genauen Informationen gefunden, vermute aber, dass das Online-Panel mit verwendet wird:
Somit werden telefonische Befragungen mit einer Online Befragung ergänzt. Das Meinungsforschungsinstitut kennt die Persönlichkeitsmerkmale und kann somit eine repäsentative Befragung durchführen. Problematischer ist hingegen die Analyse der Daten, hier zeigen unsere Medien einfach keine statistischen Grundkenntnisse. Wenn Ergebnisse, die eine Schwankungsbreite von mehr als 3% aufweisen, in den Medien mit zwei Stellen hinter dem Komma abgedruckt werden, dann ist das schlicht Irreführung. Hier wird Genauigkeit vorgetäuscht, welche die Daten aber nicht aufweisen können. Seriös ist das mit Sicherheit nicht.
Nein, ansonsten würde zum Grundfehler auch noch ein Quantiesierungsfehler hinzukommen. Der Leser kann/sollte die +-3% beachten.
Ich vermute, das meiste, was wir in den letzten Monaten von Seiten der Medien unter dem Schlagwort “Aufdeckung” gehört und gelesen haben, war nicht zuletzt darauf ausgerichtet, die, sich nach Landtagswahl und Selbstbestimmungsbefragung im Aufwind befindliche Unabhängigkeitsbewegung zu schwächen.
Für den Machterhalt wird mit allen Mittlen gekämpft.
Also: Warm anziehen und blos nicht einschüchtern lassen!!!