Aber das „rücksichtslose“ Versäumnis der Kette, Sicherheitsvorkehrungen zu treffen, gepaart mit der langen Geschichte der Technologie mit ungenauen Übereinstimmungen und rassistischen Vorurteilen, führte letztendlich dazu, dass Filialmitarbeiter Kunden fälschlicherweise des Diebstahls beschuldigten, was zu „Peinlichkeiten, Belästigungen und anderem Schaden“ vor ihnen führte Familienmitglieder, Kollegen und Freunde, sagte die FTC in einer Erklärung.
In einem Fall durchsuchte ein Mitarbeiter von Rite Aid ein 11-jähriges Mädchen wegen einer falschen Gesichtserkennungsübereinstimmung und versetzte sie so in Verzweiflung, dass ihre Mutter die Arbeit verpasste, erklärte die FTC in einer Beschwerde vor einem Bundesgericht. In einem anderen Fall riefen Mitarbeiter die Polizei wegen einer schwarzen Kundin, nachdem die Technologie sie mit dem eigentlichen Ziel, einer weißen Frau mit blonden Haaren, verwechselt hatte.
Rite Aid sagte in einer Erklärung, dass es die Gesichtserkennung nur in „einer begrenzten Anzahl von Geschäften“ einsetzte und dass es das Pilotprogramm vor mehr als drei Jahren beendet hatte, bevor die Untersuchung der FTC begann.
Im Rahmen einer Einigung stimmte das Unternehmen zu, die Technologie fünf Jahre lang nicht zu nutzen, die gesammelten Gesichtsbilder zu löschen und die FTC jährlich über die Einhaltung der Vorschriften zu informieren, so die FTC.
„Wir respektieren die Untersuchung der FTC und stehen im Einklang mit der Mission der Agentur, die Privatsphäre der Verbraucher zu schützen“, sagte das Unternehmen.
Das System von Rite Aid scannte die Gesichter der eintretenden Kunden und suchte in einer großen Datenbank mutmaßlicher und bestätigter Ladendiebe nach Übereinstimmungen, so die FTC. Wenn das System eine Übereinstimmung feststellte, forderte es die Filialmitarbeiter auf, den Käufer genau zu überwachen.
Die Datenbank enthielt jedoch Bilder mit niedriger Auflösung, die von körnigen Überwachungskameras und Mobiltelefonen aufgenommen wurden, was die Qualität der Übereinstimmungen beeinträchtigte, so die FTC. Diese unzulässigen Übereinstimmungen würden die Mitarbeiter dann dazu veranlassen, Kunden durch das Geschäft zu verfolgen oder die Polizei zu rufen, selbst wenn sie kein Verbrechen gesehen hätten.
Rite Aid habe den Kunden nicht mitgeteilt, dass es die Technologie verwende, sagte die FTC, und es habe die Mitarbeiter angewiesen, die Verwendung „den Verbrauchern oder den Medien“ nicht preiszugeben. Die FTC sagte, Rite Aid habe mit zwei Unternehmen einen Vertrag abgeschlossen, um bei der Erstellung seiner Datenbank mit „Personen von Interesse“ zu helfen, die Zehntausende Bilder enthielt. Diese Firmen wurden nicht identifiziert.
Die FTC sagte, große Fehler seien an der Tagesordnung. Zwischen Dezember 2019 und Juli 2020 generierte das System etwa zur gleichen Zeit mehr als 2.000 „Übereinstimmungswarnungen“ für dieselbe Person in weit entfernten Geschäften, obwohl die Szenarien „unmöglich oder unplausibel“ waren, so die FTC.
In einem Fall generierte das System von Rite Aid über einen Zeitraum von fünf Tagen mehr als 900 „Spielwarnungen“ für eine einzelne Person in 130 verschiedenen Geschäften, darunter in Seattle, Detroit und Norfolk, teilten die Aufsichtsbehörden mit.
Das System generierte Tausende von falschen Übereinstimmungen, und viele davon betrafen die Gesichter von Frauen, Schwarzen und Latinos, so die FTC. Bundes- und unabhängige Forscher haben in den letzten Jahren herausgefunden, dass diese Gruppen durch Gesichtserkennungssoftware eher falsch identifiziert werden, obwohl die Befürworter der Technologie sagen, dass sich die Systeme seitdem verbessert haben.
Laut FTC priorisierte Rite Aid auch den Einsatz der Technologie in Geschäften, die überwiegend von farbigen Menschen genutzt werden. Obwohl etwa 80 Prozent der Geschäfte von Rite Aid in Gebieten liegen, in denen es überwiegend Weiße gibt, stellte die FTC fest, dass sich die meisten Geschäfte, die das Gesichtserkennungsprogramm nutzten, in Gebieten befanden, in denen es nicht viele Weiße gibt.
Die falschen Anschuldigungen führten dazu, dass viele Käufer das Gefühl hatten, einer rassistischen Profilierung unterzogen worden zu sein. In einer von der FTC zitierten Mitteilung schrieb ein Käufer an Rite Aid, dass die Erfahrung, von einem Mitarbeiter angehalten zu werden, „emotional schädlich“ gewesen sei. „Das ist nicht jeder schwarze Mann [a] Sie sollten sich auch nicht wie ein Dieb fühlen“, schrieb der namentlich nicht genannte Kunde.
Die FTC erklärte, dass der Einsatz der Technologie durch Rite Aid im Jahr 2010 gegen eine Datenschutzverordnung verstoße. Dies sei Teil eines FTC-Vergleichs, der eingereicht wurde, nachdem festgestellt wurde, dass Mitarbeiter der Apothekenkette Gesundheitsakten von Personen in offene Mülltonnen geworfen hatten. Rite Aid muss ein robustes Informationssicherheitsprogramm implementieren, das von den Top-Führungskräften des Unternehmens überwacht werden muss.
Laut einer „Scorecard“ von Fight for the Future, einer Interessenvertretung, könnte die FTC-Aktion Auswirkungen auf andere große Einzelhandelsketten in den Vereinigten Staaten haben, die Gesichtserkennungstechnologie eingesetzt haben, wie Home Depot, Macy’s und Albertsons.
Evan Greer, der Direktor der Gruppe, sagte in einer Erklärung: „Die Botschaft an die amerikanischen Unternehmen ist klar: Hören Sie jetzt auf, diskriminierende und invasive Gesichtserkennung zu verwenden, oder machen Sie sich bereit, den Preis zu zahlen.“
FTC-Kommissar Alvaro Bedoya, der vor seinem Eintritt in die FTC letztes Jahr ein Forschungszentrum für Georgetown Law gründete, das sich kritisch mit der Gesichtserkennung befasste, sagte in einer Erklärung, dass der Rite Aid-Fall „Teil eines umfassenderen Trends algorithmischer Ungerechtigkeit“ sei und forderte die Führungskräfte des Unternehmens auf Bundesgesetzgeber sollen den Einsatz „biometrischer Überwachungsinstrumente“ bei Kunden und Mitarbeitern verbieten oder einschränken.
„Es gibt einige Entscheidungen, die überhaupt nicht automatisiert werden sollten; Viele Technologien sollten überhaupt nicht eingesetzt werden“, schrieb Bedoya. „Ich fordere Gesetzgeber, die sich einen stärkeren Schutz vor biometrischer Überwachung wünschen, dringend auf, diese Schutzmaßnahmen in die Gesetzgebung aufzunehmen und in Gesetze umzusetzen.“
Joy Buolamwini, eine KI-Forscherin, die die rassistischen Vorurteile der Gesichtserkennung untersucht hat, sagte, der Fall Rite Aid sei eine „dringende Erinnerung“ daran, dass das Versäumnis des Landes, umfassende Datenschutzgesetze zu erlassen, die Amerikaner anfällig für riskante Experimente der öffentlichen Überwachung gemacht habe.
„Das sind die Arten von Einschränkungen des gesunden Menschenverstands, die schon lange auf sich warten lassen, um die Öffentlichkeit vor der rücksichtslosen Einführung von Überwachungstechnologien zu schützen“, sagte sie in einer SMS. „Das Gesicht ist die letzte Grenze der Privatsphäre und es ist heute wichtiger denn je, dass wir für unsere biometrischen Rechte kämpfen, von Flughäfen über Drogerien bis hin zu Schulen und Krankenhäusern.“