Die New York Times hat berichtet, dass der Internal Revenue Service James B. Comey, den ehemaligen FBI-Direktor, und Andrew G. McCabe, seinen ehemaligen Stellvertreter, einer seiner strengsten Arten von Prüfungen unterzogen hat.
Dies hat viele vollkommen vernünftige Fragen aufgeworfen, die meisten davon Varianten von: Wie hoch sind die Chancen? Wie der Artikel feststellte, sind die Chancen, dass zwei hochrangige politische Feinde von Präsident Donald J. Trump rein zufällig geprüft wurden, winzig.
Aber winzig ist nicht null.
Wenn wir glauben wollten, dass dies ein Zufall war, wie unwahrscheinlich würden wir sagen, dass es war? Hier versuchen wir, diese Wahrscheinlichkeit so ernsthaft wie möglich abzuschätzen.
Zunächst die Fakten: Beide Männer wurden für Audits im Rahmen des National Research Program (NRP) ausgewählt, einer winzigen Teilmenge aller Audits, die der IRS jedes Jahr durchführt. Bei diesen Prüfungen wird eine Stichprobe von Steuererklärungen untersucht, um Daten zur Einhaltung der Steuervorschriften zu sammeln.
Nach Angaben des IRS gab es 2017 etwa 5.000 solcher Prüfungen, 2018 4.000 und 2019 8.000 – ausgewählt aus etwa 154 Millionen einzelnen Steuererklärungen pro Jahr. Die Prüfung von Herrn Comey betraf seine Steuererklärung 2017; Mr. McCabe’s war für seine Rückkehr im Jahr 2019.
Viele Aspekte des NRP erschweren unsere Berechnungen, einschließlich der Stichprobenmethode der IRS-Prüfer und der unterschiedlichen Jahre der Prüfungen selbst. Wir werden später auf diese Probleme zurückkommen. Im Moment gehen wir davon aus, dass alle Steuerzahler die gleichen Chancen haben, geprüft zu werden, und dass beide Männer 2017 geprüft wurden.
Wenn dieses Problem in einem Lehrbuch über Wahrscheinlichkeit auftauchen würde, könnte es so lauten:
Wenn es 154 Millionen Murmeln (die ungefähre Anzahl der jedes Jahr eingereichten Steuererklärungen) in einer riesigen Urne gibt und einige wenige davon rot sind (darunter diejenigen, die Mr. Comey und Mr. McCabe repräsentieren), wie stehen die Chancen, dass Sie wird zwei oder mehr rote Murmeln ziehen, wenn Sie zufällig ein paar Tausend aus der Urne ziehen (die Anzahl der Audits in diesem Jahr)?
Es mag kompliziert klingen, aber es ist ein relativ gut untersuchtes Problem, auf das viele Mathematik- oder Statistikstudenten in ihren Studienarbeiten stoßen würden. Die Leute haben bereits Gleichungen hergeleitet, um diese Wahrscheinlichkeiten abzuschätzen, mit Namen wie der hypergeometrischen Verteilung, die Anwendungen wie Wahlprüfung und Kartenzählung hat.
Wir können einfach unsere Schätzungen für die Gesamtanzahl der Murmeln, die Anzahl der roten Murmeln und die Anzahl der Ziehungen eingeben und erhalten eine Wahrscheinlichkeit. Wenn wir glauben, dass es nur zwei rote Murmeln gibt – das heißt, wenn wir die Übung darauf beschränken nur Mr. McCabe und Mr. Comey – diese Gleichung ergibt eine Wahrscheinlichkeit von ungefähr eins zu 950 Millionen.
Das sind deutlich höhere Quoten als Ihre Chancen, den Powerball zu gewinnen. Es ist auch ein fast bedeutungsloses Ergebnis. Im besten Fall ist es die richtige Antwort auf die falsche Frage.
Um zu verstehen, warum, müssen wir eine Absurdität anerkennen, die unserer Übung innewohnt: Um die Wahrscheinlichkeit eines unwahrscheinlichen Ereignisses bestmöglich abzuschätzen, müssen wir die Tatsache außer Acht lassen, dass wir wissen, dass es bereits passiert ist. (Die Wahrscheinlichkeit, dass es passiert ist, ist 100 Prozent.)
Jordan Ellenberg, Professor an der University of Wisconsin, der Bücher über Mathematik und logisches Denken geschrieben hat, beschrieb es so: „Wie hoch ist die Wahrscheinlichkeit, dass in einem kontrafaktischen Universum diese Sache passiert, die in unserem Universum bereits passiert ist?“
Es mag seltsam erscheinen, aber die gleichen Probleme treten sogar bei probabilistischen Übungen auf, die so grundlegend sind wie das Werfen einer Münze.
Wenn Sie eine Münze 20 Mal geworfen haben, ist Ihre spezifische Folge von Kopf und Zahl außerordentlich selten, etwa eins zu einer Million, aber es ist passiert. Und etwas Abfolge von Flips wird immer passieren. Es ist nur dann ein überraschender Zufall, wenn dies die Reihenfolge ist, die Sie vor dem Umdrehen erhalten möchten.
Ebenso ist es falsch, unsere Suche nur auf Mr. Comey und Mr. McCabe zu beschränken, da wir wahrscheinlich diese Wahrscheinlichkeiten untersuchen würden, wenn wir diese beiden erfahren würden Sonstiges Anstelle dieser beiden Männer wurden namhafte politische Feinde einer Regierung geprüft.
Eine bessere Frage ist: Wie groß ist die Wahrscheinlichkeit, dass zwei oder mehr Personen wie Mr. Comey und Mr. McCabe würden während dieser Zeit geprüft?
Sollte diese Personengruppe zwei hochrangige FBI-Beamte umfassen? Irgendwelche zwei hochrangigen Beamten des Justizministeriums? Es ist diese Rahmung – eher eine subjektive als eine faktische Entscheidung – die jede Wahrscheinlichkeitsschätzung am meisten bestimmt, mehr als jede Wahl statistischer Verteilung oder Stichprobengewichte.
Hier ist ein Diagramm der Wahrscheinlichkeit, die unsere Gleichung bei unterschiedlichen Entscheidungen für die Anzahl der roten Murmeln ergibt, die von zwei (Mr. Comey und Mr. McCabe und sonst niemand) bis 400 (eine konservative Schätzung der Anzahl der Amerikaner, Mr. Trump) reicht seit Beginn seiner Präsidentschaftskandidatur auf Twitter namentlich beleidigt).
Die Wahrscheinlichkeit steigt drastisch mit der Wahl, wer neben Mr. Comey und Mr. McCabe als rote Murmel gelten soll.
Es geht nicht darum, sich für eine Zahl zu entscheiden, sondern zu erkennen, dass unsere Wahl der Gruppengröße unsere Antwort bestimmt. Obwohl einige Vermutungen sicherlich besser sind als andere, sind viele Entscheidungen vertretbar.
Auf die Details eingehen
Lassen Sie uns nun versuchen, etwas realistischeres einzugrenzen und zu einigen der Dinge zurückzukehren, die wir bei unserer einfachen Interpretation dieses Problems ignoriert haben.
Erstens wurden die beiden Männer nicht für dasselbe Jahr geprüft. Indem wir unseren Geltungsbereich auf den Zeitraum von drei Jahren von 2017 bis 2019 erweitern, erhöhen sich unsere resultierenden Wahrscheinlichkeiten erheblich. Dies ist einfach: Wenn eine Person in einem bestimmten Jahr eine bestimmte Chance hat, auditiert zu werden, bedeuten mehr Jahre mehr Möglichkeiten, auditiert zu werden.
Zweitens interessiert uns nur die Wahrscheinlichkeit, dass mindestens zwei Personen ausgewählt werden. Wir werden nicht die Wahrscheinlichkeit berücksichtigen, dass dieselbe Person zweimal ausgewählt wird; Es erscheint unwahrscheinlich, da sich die Audits laut Mr. Comeys Bericht über ein Jahr erstrecken können. Beachten Sie, dass wir die Wahrscheinlichkeit betrachten, dass mindestens zwei Personen ausgewählt werden, nicht genau zwei, da es auch signifikant wäre, wenn drei oder mehr Personen aus einer Gruppe ausgewählt würden.
Schließlich wählt das IRS Personen nicht wirklich zufällig aus. Stattdessen tendiert die Agentur dazu, einige Arten von Steuerzahlern, darunter auch Hochverdiener, häufiger auszuwählen als andere. Für das Steuerjahr 2001 umfasste die NRP-Stichprobe Renditen von Personen rund um das 90. Perzentil des Einkommens mit etwa dem 1,7-fachen der Rate, die man erwarten würde, wenn Renditen unabhängig vom Einkommen ausgewählt würden. Diese Rate stieg durch die höchsten Einkommensränge, so dass Personen mit einem Einkommen in den oberen 0,5 Prozent mehr als zehnmal so wahrscheinlich in der Stichprobe waren wie jemand, der näher am Medianeinkommen lag.
Wir können wahrscheinlich davon ausgehen, dass jede Gruppe von Mr. Trumps Feinden mehr verdienen würde als eine zufällige Stichprobe von Amerikanern. Aber wir können nicht die gesamten Einkommen aller in unserer Gruppe in jedem Jahr realistisch abschätzen. Wir wissen auch, dass der IRS bei seiner Stichprobenziehung andere Faktoren berücksichtigt hat, wie z. B. die Art der Erklärungen, die Steuerzahler einreichen, und dass sich die Stichprobenmethoden von Jahr zu Jahr ändern können. Dies lässt uns nur wenige Hinweise, wie die Methoden des IRS angepasst werden können. Daher lassen wir unsere Schätzungen ungewichtet nach Einkommen. Wenn Sie sich Sorgen darüber machen, wie sich das Einkommen auf diese Ergebnisse auswirkt, können Sie die resultierende Wahrscheinlichkeit verdoppeln, wenn Sie glauben, dass die Mitglieder einer Gruppe sehr hohe Einkommen haben, und sie mit 10 multiplizieren, wenn Sie glauben, dass dies der Fall ist sind außerordentlich reich.
Setze sie alle zusammen
Unter Berücksichtigung dieser Auswahlmöglichkeiten enthält die folgende Tabelle einige geschätzte Wahrscheinlichkeiten in Abhängigkeit von der betrachteten Gruppengröße.
Wenn unsere Auswahl nicht zufriedenstellend ist, haben wir alternativ einen einfachen Rechner erstellt, mit dem Sie Ihre eigenen Wahrscheinlichkeiten berechnen können:
Welche Schätzung ist also „richtig“?
Die meisten realistischen Ergebnisse dieser Gleichung könnten genau als „sehr selten“ oder sogar „außerordentlich selten“ beschrieben werden, aber keines ist ein Beweis für Fehlverhalten.
„Es ist ein bisschen wie die unwiderstehliche Kraft und das unbewegliche Objekt“, sagte Andrew Gelman, Professor für Statistik und Politikwissenschaft an der Columbia University, als er in der Zusammenfassung von dieser Übung erzählte. „Auf der einen Seite sagen Sie, dass es völlig zufällig ist. Andererseits vermuten Sie, dass dies nicht der Fall ist.“
Herr Gelman sagte, wie jeder andere Statistiker, der mit The Times über dieses Problem sprach, dass die größte Hürde nicht irgendwelche Details seien, sondern die Definition der Frage selbst.
Wenn wir versuchen, die Wahrscheinlichkeit eines bestimmten Ereignisses zu berechnen Weil wir vermuten, dass es kein Zufall ist, landen wir in der komplizierten Lage, uns vorzustellen, wie wir die Wahrscheinlichkeit des Ereignisses vorhergesagt hätten Vor es ist passiert, sagte David Spiegelhalter. Er leitet das Winton Centre for Risk and Evidence Communication an der University of Cambridge, eine Organisation, die sich der Verbesserung der Nutzung quantitativer Beweise in der Gesellschaft verschrieben hat.
Die Mathematik ist einfach, sagte er, aber die Frage zu formulieren ist knifflig und grenzt an „bedeutungslos“, zum großen Teil, weil es schwierig ist, die Gruppe festzulegen, die uns wichtig ist.
„’Wie groß ist die Chance, dass das passiert?’ ist eine einfache Aussage“, sagte er. „Das ist eine vertraute Aussage. Aber eigentlich ist es eine sehr schwierige Frage zu beantworten.“
Mathe hat seine Grenzen. Der Sinn des Versuchs, eine Wahrscheinlichkeit wie diese abzuschätzen, besteht darin, sagte Herr Gelman, nicht zu viel Wert auf die Zahlen zu legen, sondern sich vom Ergebnis dazu drängen zu lassen, mehr herauszufinden.
In diesem Fall ist die beste Frage nicht die, deren Antwort man in einem Statistik-Lehrbuch nachschlagen kann.
Stattdessen, sagte Herr Gelman, sei die zu stellende Frage: „Was ist los?“
Matthäus Cullen beigetragene Berichterstattung.