Anekdoten

»100 Prozent der befragten Personen, die Russisches Roulette gespielt hatten, haben überlebt. Schlussfolgerung: Russisches Roulette ist absolut sicher.« Hier ist der Denkfehler offensichtlich: Der »Survivorship Bias« kann etwas holprig mit »Überlebenden-Verzerrung« übersetzt werden. Wer nicht überlebt hat, kann nicht befragt werden.

Bei den Wissenschaftsjournalisten Maximilian Doeckel und Jonathan Focke, auch als »Quarks Science Cops« bekannt, geht es weniger brutal zu. Doch auch sie rechnen mit persönlichen Erfahrungsberichten ab. Ihr Buch, mit dem sie »Scheinargumente, unwissenschaftlichen Unsinn und Pseudoexperten entlarven« wollen, trägt den Titel: »Aber meiner Tante hat’s geholfen.« Mit solchen und ähnlichen Einwänden werden sie regelmäßig konfrontiert. Sie schreiben: »Bei allen unseren Recherchen zu den unterschiedlichsten Heilmitteln und Wunderpillen haben wir immer wieder eine Sache festgestellt: Diese sogenannte anekdotische Evidenz, also der Beweis auf Grundlage einzelner Geschichten, ist für viele Menschen deutlich überzeugender als jede noch so gut gemachte Studie.«

Was sind die Gründe? Der Erfolg von »Storytelling« zeigt, wie sich unser Gehirn auf Geschichten stürzt. Sie sind eingängiger als sperrige Statistiken und werden besser im Gedächtnis behalten. Stammen sie dann auch noch von bekannten und vertrauenswürdigen Personen wie der eigenen Tante, werden sie kaum angezweifelt. »Probiert es mal aus: Kaum etwas ist unangenehmer, als Menschen im direkten Gespräch damit zu konfrontieren, dass mit ihrer Wahrnehmung etwas nicht stimmt und sie einem Fehlschluss aufgesessen sein könnten. Euer Gegenüber wird sich sehr schnell angegriffen fühlen. Schließlich geht es nicht nur um eine bloße Meinungsverschiedenheit, sondern um nichts weniger als das vermeintliche Absprechen des persönlichen Erlebens.«

Doch wenn mehrere Versuchspersonen von einem solchen persönlichen Erleben berichten? »Genauso vorsichtig solltet Ihr bei Studien sein, die nur sehr wenige Teilnehmerinnen und Teilnehmer haben. Denn das ist eine der einfachsten Methoden für Wundermittelverkäufer, Alternativmediziner und selbst ernannte Heilerinnen, die angebliche Wirksamkeit ihres Produkts vorzutäuschen.«

Kleine Stichproben sind anfälliger für Verzerrungen. »Wenn zu wenige Personen an einer Studie teilnehmen, besteht also entweder die Gefahr, dass man bestimmte, kleinere Effekte gar nicht erst erkennt oder dass man Effekte sieht, wo es in Wirklichkeit keine gibt. Ersteres kann man sich zuu Nutze machen, um Dinge zu verharmlosen, Letzteres um Dinge zu verkaufen.«

Bedeutet das, mit der Anzahl der Teilnehmenden steigt die Aussagekraft? Das hängt von der Auswahl ab. »Solche Verzerrungen, die durch zu kleine Stichproben zustande kommen, kann man aber auch in Studien mit vielen Teilnehmenden absichtlich herbeiführen. Vorteil: Eine Studie mit vielen Probandinnen und Probanden macht Eindruck. Allein weil ›an 1000 Menschen getestet‹ irgendwie gut klingt. Der Trick ist, dass man diese Personen vorab ganz genau aussucht.«

Ein Grund für kleine Stichproben können die Kosten sein: Solche Studien sind billiger. Beim Auswahltrick dagegen wird häufig absichtlich versucht, ein erwünschtes Ergebnis herbeizuführen. »Systematische Verzerrungen durch eine ›günstige‹ Auswahl der Studienteilnehmerinnen und -teilnehmer begegnen uns in der Welt des Sciencewashings immer wieder. Auch dann, wenn in der Studie überhaupt keine Informationen darüber zu finden sind, wie die Personen ausgewählt und auf die Untersuchungsgruppen verteilt wurden, solltet ihr skeptisch werden.«