Druckversion (pdf)

Das aktuelle Interview

In dieser Ausgabe:

Über den Lotteriecharakter von Wahlprognosen

So werden Öffentlichkeit und Politiker seit Jahren mit pseudoexakten Zahlen an der Nase herumgeführt!

Gesprächspartner: Professor Dr. Friedrich Ulmer

Herr Professor Ulmer, Sie haben in einem aufsehenerregenden Beitrag für die renommierte Zeitschrift "Bild der Wissenschaft" die Zuverlässigkeit von Meinungsumfragen - hier speziell Wahlprognosen - in Frage gestellt. Sie haben die Antwort der Wahlforscher auf die berühmte Sonntagsfrage: "Was würden Sie wählen, wenn am nächsten Sonntag Bundestagswahlen wären?" - mit einem "Orakelspruch" verglichen. An anderer Stelle Ihres Beitrags war schlicht von "Lotteriespiel" die Rede. Wie kam es, daß "Bild der Wissenschaft" Sie bat, in der letzten Ausgabe vor der Bundestagswahl diesen Beitrag zu veröffentlichen?

Professor Ulmer: "Naja, der Zeitpunkt liegt auf der Hand. Vor der Bundestagswahl wird die Öffentlichkeit mit angeblich zuverlässiger Information über die aktuelle politische Stimmungslage bombardiert. Da stellt sich mancher die Frage, wie denn Meinungsumfragen und Prognosen gemacht werden und in welchem Maße sie wissenschaftlich begründet sind. Es ist sicher falsch zu sagen, daß Meinungsumfragen keinen Stellenwert hätten oder daß sie nur Lotterien oder Orakelsprüche seien oder gar, daß sie manipuliert sind. Der wesentliche Punkt ist aber, daß die Aussagekraft von Meinungsumfragen in der Presse und im Fernsehen - und von Politikern - maßlos übertrieben wird. Es wird damit ein Produkt an den Konsumenten abgegeben, das hauptsächlich aus marktschreierischer Verpackung besteht, hinter dem sich ein Minimum an brauchbarer Information verbirgt. In meinem Beitrag für "Bild der Wissenschaft" habe ich versucht, einige Exzesse in Zahlen zu fassen und die Auswirkungen auf politisch relevante Fragen wie 5-Prozent-Hürde, Mehrheitsbildung und zeitliche Trends der Parteienstärken darzustellen."

Es gibt Beispiele von Prognosen, die zutrafen. Es gibt andere - viel mehr Beispiele - bei denen die Wahlforscher völlig daneben lagen. Allensbach sagte beispielsweise die Bundestagswahlergebnisse von 1983 einigermaßen richtig voraus. Ganz im Gegensatz dazu waren die Prognosen bei der Landtagswahl in Hamburg 1986 völlig falsch. Dessen ungeachtet legen die Meinungsforscher bei der nächsten Wahl erneut angeblich genaue Zahlen vor. Was ist von diesen Zahlen zu halten?

Professor Ulmer: "Prognosen sagen manchmal den Wahlausgang qualitativ richtig voraus, manchmal nicht. Aber es besteht kein Zweifel, daß jede Prognose quantitativ falsch ist. Das heißt: Die angeführten Prozentzahlen - beispielsweise 46,0 Prozent für die CDU/CSU, 36,0 Prozent für die SPD, 8,3 Prozent für die FDP und 8,5 Prozent für die Grünen - werden mit Sicherheit durch den Wahlausgang nicht bestätigt. Für die unvermeidlichen Abweichungen und gelegentlichen eklatanten Fehlprognosen führen die Demoskopen und ihre Sekundanten in den Medien dann die üblichen Erklärungen an.
Es gibt jedoch handfeste - und seit langem bekannte - mathematisch-statistische - Gründe dafür, daß es grundsätzlich unmöglich ist, bei Meinungsumfragen genaue Prozentangaben zu machen - von Nachkommastellen ganz zu schweigen - und daß Wahlprognosen manchmal falsch ausgehen müssen und daß sie in einem gewissen Sinn Lotteriecharakter haben. Wenn man nämlich nur 1000 oder 2000 Wahlberechtigte befragt, dann kann man eben nicht mit Sicherheit auf 45 Millionen Wahlberechtigte schließen."

Die Meinungsforscher, schränken wir es ein auf die Wahlforscher; sprechen von einem sogenannten repräsentativen Querschnitt der Bevölkerung. Dies suggeriert dem Publikum zunächst, daß die Befragten - also in der Regel zwischen 500 und 1500 Personen - ein soziologisches Spiegelbild der Bevölkerung abgeben. Was ist das eigentlich tatsächlich, dieser repräsentative Querschnitt der Bevölkerung?

Professor Ulmer: "Das ist eine sehr schwierige Frage. Es ist leichter zu sagen, was ein "repräsentativer Querschnitt" nicht ist: Nämlich kein Miniaturbild der Bevölkerung; von einem Spiegelbild der Bevölkerung ganz zu schweigen! Repräsentative Querschnitte sind ein Produkt der mathematischen Statistik. Vereinfachend - aber zutreffend - kann man sagen, daß ein repräsentativer Querschnitt der Bevölkerung per Lotterie zusammengestellt wird. Um es etwas salopp zu sagen: Jeder kriegt von der Landeslotterie genau ein Los und dann werden beispielsweise 1000 Gewinner ausgelost Der Preis eines Gewinners besteht darin, daß er befragt wird, also um seine Meinung gebeten wird."

Ist das nicht fast das Gegenteil von dem, was man unter "repräsentativ" versteht? Wie ist dies zu erklären? Sonst müßte ich beinahe sagen: Ist das nicht Unsinn?

Professor Ulmer: "Ihre Reaktion - das ist Unsinn - ist den Meinungsforschern wohl vertraut und deshalb hängen sie ihre Definition auch nicht an die große Glocke. Wenn sie aber unter sich sind, dann sieht es anders aus. Die Zufallsauswahl eines repräsentativen Querschnittes gilt als Statussymbol unter den Demoskopen, je zufälliger, desto besser! Es ist klar, daß dieses Vorgehen Auswirkungen auf das Resultat der Meinungsumfrage haben muß. Wären 1000 andere Personen ausgelost worden, dann würde sich ein etwas anderes Meinungsbild ergeben. Allerdings - und das ist die erstaunliche Folge des Gesetzes der großen Zahl - sind die Diskrepanzen viel geringer als man als Laie erwarten würde.
Die Statistik kann Aussagen darüber machen, in welchem Maße das Meinungsbild in einem per Lotterie ermittelten "repräsentativen Querschnitt" von demjenigen der ganzen Bevölkerung abweicht und mit welcher (geringen) Chance völlig danebenliegende Resultate zu erwarten sind. Die Zuverlässigkeit bzw. Unzuverlässigkeit hängt nämlich nicht von der Bevölkerungsgröße ab, wie man erwarten würde, sondern nur von der Anzahl der Befragten. Je mehr Leute man befragt, desto genauer, bzw. zuverlässiger ist das Resultat der Meinungsumfrage. Allerdings gilt das nur dann, wenn wirklich jeder Wahlberechtigte die gleiche Chance hat für die Befragung ausgelost zu werden. Es ist in der Praxis ein schwieriges Problem, Auswahlverfahren zu finden, bei denen die Chancengleichheit gewährleistet ist Solche Verfahren sind äußerst kostspielig."

Weshalb legen die Meinungsforscher die Karten nicht offen auf den Tisch und erklären, daß es den sogenannten repräsentativen Querschnitt gar nicht gibt? Weshalb wird der Lotterieaspekt verheimlicht?

Professor Ulmer: "Einerseits wiegen sich die Meinungsforscher im Glauben, die mathematische Statistik hätte mit dem Gesetz der großen Zahl die Zufallsauswahl auf den Schild gehoben und damit seien alle quantitativen Aspekte gesichert. Andererseits: Wie sollen sie einem Laien plausibel erklären, daß ein per Lotterie ermitteltes Meinungsbild überhaupt repräsentativ für die ganze Bevölkerung sein kann? Das geht doch ganz gegen das Gefühl. Damit würde das Mißtrauen geradezu herausgefordert. So wird das Pferd am Schwanz aufgezogen: Man prägt den Spruch vom "repräsentativen Querschnitt" und suggeriert damit, daß das ermittelte Meinungsbild für die ganze Bevölkerung zutreffe.
Für die Rechtfertigung dieses Vorgehens verweisen einige Meinungsforscher im Kleingedruckten auf der Rückseite ihrer Berichte auf die Statistik. Doch was die Statistik wirklich sagt, ist in der 'Prognoseindustrie' seit langem durch Wunschdenken ersetzt worden, welches sich primär an den eigenen Geschäftsinteressen und denjenigen ihrer Auftraggeber - nämlich der Medien - orientiert."

Wie sehen Sie denn die Geschäftsinteressen der Medien?

Professor Ulmer: "Ja, das ist doch klar. Der "Stern", der "Spiegel", die "Welt" usw. wollen in ihren Exklusiv-Berichten angeblich harte Daten über die aktuelle politische Stimmungslage verkaufen. Die sind überhaupt nicht daran interessiert, den Lesern klarzumachen, daß diese Zahlen in Wirklichkeit butterweich sind und einen unangenehm hohen Grad von Lotteriecharakter aufweisen.
Im Fernsehen ist es genauso. Im Politbarometer des ZDF liefert Klaus Bresser mit seriöser Miene und wissenschaftlicher Verpackung seine exakten Zahlen zur aktuellen politischen Stimmungslage - er beruft sich auf die "Forschungsgruppe Wahlen". Er möchte seine Sendung nicht mit Elstner's Show "Wetten daß" in Zusammenhang gebracht sehen. Dabei kommen die Verrücktheiten in "Wetten daß" viel eher zum Laufe; als daß Bresser: Prognosezahlen zutreffen. Und in der ARD heißt die entsprechende Sendung "Meinungsreport" und nicht Lottoreport.
Das Problem für die Medien besteht darin, daß wissenschaftlich vertretbare Aussagen über die aktuelle politische Stimmungslage niemanden interessieren würden, weil sie viel zu vage sind. Die Öffentlichkeit – und auch die Politiker - werden seit Jahren mit pseudoexakten Zahlen an der Nase herumgeführt. Dadurch ist eine völlig unrealistische Erwartungshaltung entstanden, welche laufend mit neuen ‚exakten‘ Daten befriedigt werden muß. Die Medien werden die Geister, die sie riefen, nicht mehr los."

Was sind denn wissenschaftlich vertretbare Aussagen? Mit welchen Fehlern ist bei Meinungsumfragen und Prognosen zu rechnen und weshalb werden diese von den selbsternannten Propheten verschwiegen?

Professor Ulmer: "Der Ausdruck "selbst-ernannte Propheten" gefällt mir nicht. Da denkt man an die Propheten im Alten Testament. Diese hatten Einsichten und Visionen; die haben doch nicht einfach gewürfelt und damit die Zukunft vorausgesagt. Wenn die Meinungsforscher die Fehler berücksichtigen würden, dann könnten sie mit den ermittelten Daten häufig keine brauchbaren Prognosen machen. Ihre Auftraggeber - die Medien und die Parteien - würden ihnen diese unbrauchbaren Prognosen nicht abnehmen.
Was die Fehler betrifft, so muß man zwischen zwei Ebenen unterscheiden. Da ist einerseits der Interviewfehler. Die im Interview gegebene Antwort stimmt nicht mit dem überein, was der Befragte dann auf dem Stimmzettel in die Wahlurne legt. Zum Beispiel, weil er seine Meinung geändert hat, er dem Interviewer nicht die richtige Antwort geben wollte, er sich noch nicht entschieden hat, er nicht zur Urne gehen wollte und dann doch ging oder umgekehrt. Außerdem gibt fast ein Drittel der Ausgelosten keine Antwort oder sie können vom Interviewer nicht erreicht werden. Ferner spielt die weitverbreitete Unkenntnis über die Unterscheidung von Erst- und Zweitstimme eine wichtige Rolle. Es kommt auch vor - allerdings nicht sehr häufig -, daß der Interviewer den Fragebogen selbst ausfüllt, weil dies viel schneller geht und die Bezahlung nicht gerade fürstlich ist. Ein wesentlicher Punkt ist auch die Chancengleichheit des verwendeten Auswahlverfahrens.
Die Größe des Interviewfehlers ist nicht feststellbar. Der Interviewfehler kann aber gigantisch sein und 5 Prozent und mehr betragen, wie aus den eklatanten Fehlprognosen – z.B. Hamburgwahl 1986 - hervorgeht.
Den andern Fehler - den sogenannten statistischen Fehler - kann man berechnen. Er hängt hauptsächlich von der Anzahl der durchgeführten Interviews und der Anzahl der gleichzeitig betrachteten Merkmale ab, bei Wahlprognosen also den vier Parteien. Der Fehler entsteht dadurch, daß man nur 500, 1000, 1500 oder 2000 auslost und befragt. Aber Fehler ist eigentlich nicht das richtige Wort, weil es den Eindruck erweckt, als hätte man ungenau gemessen, was mit mehr Sorgfalt zu vermeiden gewesen wäre. Hier handelt es sich um ein anderes Phänomen: Die Befragten werden ja ausgelost, und was heißt bei einer Lotterie schon Fehler? Die Abweichung kann mal gravierend sein, mal überhaupt nicht ins Gewicht fallen. Man kann eher wie beim Lotto von Chance sprechen und dann die Frage stellen: Wie groß ist die Chance, daß eine Prognose von einem bestimmten Typ richtig ist?"

Also dann konkret: Wie groß ist die Chance, daß eine Prognose von Noelle-Neumann richtig ist? Beispielsweise veröffentlichte die "Welt" vom 20. Januar 1987 eine Prognose von Allensbach, nach der die CDU/CSU 44,0 Prozent, die SPD 35,3 Prozent, die FDP 10,4 Prozent und die Grünen 9,6 Prozent erhalten werden.

Professor Ulmer: "Frau Prof. Dr. Dr. h.c. Elisabeth Noelle-Neumann ist mit einem Lottospieler vergleichbar, der mit drei Mark Einsatz auf fünf Richtige hofft - soweit es die Chancen betrifft Der Unterschied besteht darin, daß unser Lottospieler seine drei Mark mit 99.9994 Prozent Sicherheit in den Wind schreiben kann, während die Allensbach-Chefin für die Prognose einen fünfstelligen Betrag für ihr Institut kassiert. Bei dieser Sachlage müßte man fast unserem Lottospieler empfehlen, ins Prognosegeschäft einzusteigen..., bei der "Sonntagsfrage" kommt man nämlich mit Stammtischargumenten fast soweit wie mit einer Meinungsumfrage von 1000 Interviews. Dies läßt sich mathematisch beweisen.
Eine Prognose dieser Art – d.h. auf der Basis von 1000 Interviews gleichzeitig 4 Parteistärken mit einer Nachkommastelle anzugeben - hat eine Chance von praktisch Null, richtig zu sein, nämlich 0,0006 Prozent. Dabei muß man voraussetzen, daß die 1000 Ausgelosten nicht befragt werden, sondern alle ihre Stimmzettel beim Allensbach-Institut abgeben, anstatt damit zur Urne zu gehen. Sonst wird die Chance der Richtigkeit der Prognose noch kleiner. Sie ist wegen des Interviewfehlers unberechenbar."

Wie kann Noelle-Neumann unter diesen Umständen eine Prognose dieser Sorte abgeben?

Professor Ulmer: "Das müssen Sie sie selbst fragen. Die Form des amtlichen Wahlergebnisses wirkt inspirierend: Prozentzahlen mit einer Nachkommastelle, das sieht doch gut aus und vermittelt den Eindruck von Genauigkeit. Das fördert die Vertrauensseligkeit des ahnungslosen Konsumenten von solchen Prognosen. Ich glaube, daß Frau Noelle-Neumann sehr wohl weiß, daß die Form ihrer Prognosen überzogen ist. In ihrem Buch "Umfragen in der Massengesellschaft" bekennt sie sich uneingeschränkt zur Zufallsauswahl für Meinungsumfragen, welche sie mit dem Quotenverfahren zu realisieren hofft. Sie beruft sich bei der Begründung der Zufallsauswahl auf das Gesetz der großen Zahl und führt einige erläuternde Beispiele an.
Aus diesen geht hervor, daß ganze Prozentzahlen - von Nachkommastellen ganz zu schweigen - unhaltbar sind.
Aber es ist unfair, nur auf Frau Noelle-Neumann herumzuhacken. Sie hat in der Demoskopie Grundlegendes geleistet, vor allem auf praktischem Gebiet. Das Problem besteht darin, daß sie bei der "Sonntagsfrage" aus ihren Zahlen Dinge heraussaugt, die einfach nicht drin liegen. Damit steht sie aber nicht alleine da. Es ist in der Meinungsforschungsindustrie üblich, mit diesem Unfug, nämlich maßlos überzogenen Schlußfolgerungen aus Meinungsumfragen - Geld zu verdienen."

Wo ist denn dann noch der Unterschied zwischen einem Meinungsforscher und einem Glücksspieler?

Professor Ulmer: "Naja, die Risikoverteilung ist anders. Haucht ein Glücksspieler bei zwei Würfeln die Sechs an und wettet auf eine Doppelsechs, dann verliert er seinen Einsatz mit 97,2 Prozent Wahrscheinlichkeit. Mit einer Meinungsumfrage hingegen haucht ein Meinungsforscher bedenkenlos gleichzeitig bei sieben Würfeln die Sechs an, wenn er seine Nachkommastellen-Prognose für einen fünfstelligen Betrag verkauft. Ungestraft! Das Risiko tragen die Dummen, die an die Prognose in dieser Form glauben."

Wie steht es denn mit der Chance der Richtigkeit, wenn man die Prognose nur auf ein halbes Prozent genau machen will, also beispielsweise CDU/CSU 46,0 Prozent, SPD 36,0 Prozent, FDP 8,5 Prozent und Grüne 8,5 Prozent, wie dies im ZDF gemacht wurde?

Professor Ulmer: "Eine Prognose dieser Art - d.h. auf der Basis von 1000 Interviews vier Parteistärken gleichzeitig auf ein halbes Prozent genau zu schätzen - ist mit 99,7 Prozent Sicherheit falsch, wobei der Interviewfehler unberücksichtigt bleibt Sie ist also so hoffnungslos wie der Versuch, im Lotto mit drei Mark Einsatz vier Richtige zu treffen."

Bundeskanzler Kohl zeigte sich enttäuscht über den Wahlausgang, als sich nach der Hochrechnung Verluste von fast 5 Prozent für die CDU/CSU abzeichneten. Er begründete seine Enttäuschung mit den Worten, er hätte 46 Prozent erwartet und nicht 44 Prozent. Wie realistisch war diese Erwartung?

Professor Ulmer: "Der Bundeskanzler ist ein etwas besserer Lottospieler als Frau Noelle-Neumann und das ZDF, aber auch er ist ein sicherer Verlierer, was seine Chancen betrifft. Aus seiner Aussage geht hervor, daß er, bzw. seine demoskopischen Ratgeber, sich im Glauben wiegen, sie könnten die Parteistärken auf ein Prozent genau prognostizieren. Auf der Basis von 1000 Interviews hat eine solche Prognose eine Chance von knapp 4 Prozent, richtig zu sein, wobei der Interviewfehler unberücksichtigt bleibt Mit andern Worten, von hundert Prognosen, in denen die Parteistärken auf ganze Prozentzahlen vorausgesagt werden, sind 96 falsch, d.h. bei mindestens einer Partei wird die angegebene Prozentzahl nicht zutreffen. Die Zahlen von Brandt, Genscher und Schily sind also genau so wurmstichig wie diejenigen von Kohl.
Wenn man bei einer Prognose den Spielraum auf 2 Prozent erhöht - also beispielsweise CDU/CSU 44-46 Prozent, SPD 35-37 Prozent, FDP 8-10 Prozent, Grüne 8-10 Prozent, dann ist die Chance der Prognose, falsch zu sein, noch immer fast 80 Prozent Dabei bleibt der Interviewfehler unberücksichtigt. Um einer Prognose eine Chance von 50 Prozent zu geben, richtig zu sein, muß man den Spielraum auf 3 Prozent erhöhen (+/- 1,5 Prozent), wobei der Interviewfehler unberücksichtigt bleibt. Es ist aber klar, daß kein Mensch an einer Prognose interessiert Ist, die in 50 Prozent der Fälle falsch ist. Es sei denn, man verschweigt diese Tatsache. Will man die Chance der Prognose, richtig zu sein, auf 90 Prozent erhöhen - was immer noch kein berauschendes Sicherheitsgefühl vermittelt -, dann muß man den Spielraum auf 6 Prozent erhöhen (+/-3 Prozent). Aber wer ist denn noch an einer Prognose der Form

interessiert, wobei der Interviewfehler unberücksichtigt bleibt? Wer würde eine solche Prognose veröffentlichen? Etwa der "Stern"? der "Spiegel"? die "Welt"? Etwa das Politbarometer des ZDF oder der Meinungsreport der ARD? An Einschaltquote Null sind weder ZDF noch ARD interessiert. Der "Stern", der "Spiegel", die "Welt" wollen ihre Auflagen verkaufen und nicht einstampfen."

Gesprächsführung: MICHAEL KROEMER

Druckversion (pdf)