Human Rights Watch identifizierte mehrere grundlegende Probleme mit dem algorithmischen System, die zu Voreingenommenheit und Ungenauigkeiten führten. Dabei werden die Bewerber beispielsweise gefragt, wie viel Wasser und Strom sie verbrauchen, zwei Indikatoren, die in das Ranking-System einfließen. Die Autoren des Berichts kommen zu dem Schluss, dass dies nicht unbedingt verlässliche Indikatoren für Armut sind. Einige befragte Familien glaubten, dass die Tatsache, dass sie ein Auto besaßen, ihr Ranking beeinflusste, selbst wenn das Auto alt und für den Transport zur Arbeit notwendig war.
In dem Bericht heißt es: „Dieser Anschein statistischer Objektivität verbirgt eine kompliziertere Realität: Der wirtschaftliche Druck, dem die Menschen ausgesetzt sind, und die Art und Weise, wie sie ums Überleben kämpfen, sind für den Algorithmus häufig unsichtbar.“
„Die gestellten Fragen spiegeln nicht die Realität wider, in der wir leben“, sagt Abdelhamad, ein Vater von zwei Kindern, der 250 Dinar (353 US-Dollar) im Monat verdient und Schwierigkeiten hat, über die Runden zu kommen, wie im Bericht zitiert wird.
Takaful verstärkt auch die bestehende geschlechtsspezifische Diskriminierung, indem es sich auf sexistische Rechtsnormen beruft. Die Bargeldhilfe wird nur jordanischen Bürgern gewährt, und ein Indikator, den der Algorithmus berücksichtigt, ist die Größe eines Haushalts. Obwohl jordanische Männer, die einen Nicht-Staatsbürger heiraten, die Staatsbürgerschaft an ihren Ehepartner weitergeben können, ist dies für jordanische Frauen, die dies tun, nicht möglich. Für diese Frauen führt dies zu einer geringeren meldepflichtigen Haushaltsgröße und damit zu einer geringeren Wahrscheinlichkeit, Hilfe zu erhalten.
Der Bericht basiert auf 70 Interviews, die Human Rights Watch in den letzten zwei Jahren durchgeführt hat, und stellt keine quantitative Bewertung dar, da die Weltbank und die Regierung Jordaniens die Liste der 57 Indikatoren, eine Aufschlüsselung der Gewichtung der Indikatoren, nicht öffentlich veröffentlicht haben oder umfassende Daten über die Entscheidungen des Algorithmus. Die Weltbank hat auf unsere Bitte um Stellungnahme noch nicht geantwortet.
Amos Toh, KI- und Menschenrechtsforscher bei Human Rights Watch und Autor des Berichts, sagt, die Ergebnisse deuten auf die Notwendigkeit einer größeren Transparenz bei Regierungsprogrammen hin, die algorithmische Entscheidungsfindung nutzen. Viele der befragten Familien äußerten Misstrauen und Verwirrung hinsichtlich der Ranking-Methodik. „Die Verantwortung liegt bei der jordanischen Regierung, für diese Transparenz zu sorgen“, sagt Toh.
Forscher zu KI-Ethik und Fairness fordern eine genauere Untersuchung des zunehmenden Einsatzes von Algorithmen in Sozialsystemen. „Wenn man anfängt, Algorithmen für diesen speziellen Zweck zu entwickeln, um den Zugriff zu überwachen, passiert es immer, dass Menschen, die Hilfe brauchen, ausgeschlossen werden“, sagt Meredith Broussard, Professorin an der NYU und Autorin von Mehr als eine Panne: Konfrontation mit Rassen-, Geschlechts- und Fähigkeitsverzerrungen in der Technik.
„Es scheint, dass dies ein weiteres Beispiel für ein schlechtes Design ist, das letztendlich dazu führt, dass der Zugang zu Geldern für diejenigen eingeschränkt wird, die sie am meisten brauchen“, sagt sie.
Die Weltbank finanzierte das Programm, das vom jordanischen National Aid Fund, einer Sozialschutzbehörde der Regierung, verwaltet wird. Als Reaktion auf den Bericht erklärte die Weltbank, dass sie plant, im Juli 2023 zusätzliche Informationen über das Takaful-Programm zu veröffentlichen, und bekräftigte ihr „Engagement, die Umsetzung des universellen Sozialschutzes voranzutreiben“. [and] Gewährleistung des Zugangs zum Sozialschutz für alle Menschen.“
Die Organisation hat den Einsatz von Datentechnologie in Geldtransferprogrammen wie Takaful gefördert und erklärt, dass sie die Kosteneffizienz und eine größere Gerechtigkeit bei der Verteilung fördere. Regierungen haben auch KI-gestützte Systeme eingesetzt, um sich vor Sozialbetrug zu schützen. Eine Untersuchung im vergangenen Monat zu einem Algorithmus, den die niederländische Regierung verwendet, um die Sozialhilfeanträge mit der höchsten Wahrscheinlichkeit als betrügerisch zu kennzeichnen, ergab eine systematische Diskriminierung aufgrund von Rasse und Geschlecht.