Eine Theorie, warum das so sein könnte, ist, dass nicht-binäre braune Menschen in letzter Zeit möglicherweise mehr Sichtbarkeit in der Presse hatten, was bedeutet, dass ihre Bilder in den Datensätzen landen, die die KI-Modelle für das Training verwenden, sagt Jernite.
OpenAI und Stability.AI, das Unternehmen, das Stable Diffusion entwickelt hat, sagen, dass sie Korrekturen eingeführt haben, um die in ihren Systemen verwurzelten Vorurteile zu mildern, wie das Blockieren bestimmter Eingabeaufforderungen, die wahrscheinlich anstößige Bilder erzeugen. Diese neuen Tools von Hugging Face zeigen jedoch, wie begrenzt diese Korrekturen sind.
Ein Sprecher von Stability.AI sagte uns, dass das Unternehmen seine Modelle auf „Datensätzen trainiert, die für verschiedene Länder und Kulturen spezifisch sind“, und fügte hinzu, dass dies „dazu dienen sollte, Verzerrungen zu mildern, die durch Überrepräsentation in allgemeinen Datensätzen verursacht werden“.
Ein Sprecher von OpenAI äußerte sich nicht speziell zu den Tools, verwies uns aber auf einen Blogbeitrag, in dem erklärt wird, wie das Unternehmen verschiedene Techniken zu DALL-E 2 hinzugefügt hat, um Vorurteile und sexuelle und gewalttätige Bilder herauszufiltern.
Voreingenommenheit wird zu einem dringenderen Problem, da diese KI-Modelle immer mehr Verbreitung finden und immer realistischere Bilder erzeugen. Sie werden bereits in einer Reihe von Produkten eingeführt, z. B. bei Stockfotos. Luccioni sagt, sie sei besorgt, dass die Modelle Gefahr laufen, schädliche Vorurteile in großem Umfang zu verstärken. Sie hofft, dass die Tools, die sie und ihr Team entwickelt haben, mehr Transparenz in bildgenerierende KI-Systeme bringen und unterstreichen, wie wichtig es ist, sie weniger voreingenommen zu machen.
Ein Teil des Problems besteht darin, dass diese Modelle auf überwiegend US-zentrierten Daten trainiert werden, was bedeutet, dass sie hauptsächlich amerikanische Assoziationen, Vorurteile, Werte und Kultur widerspiegeln, sagt Aylin Caliskan, außerordentliche Professorin an der University of Washington, die Vorurteile in KI-Systemen untersucht und war an dieser Untersuchung nicht beteiligt.
„Was am Ende passiert, ist der Fingerabdruck dieser amerikanischen Online-Kultur … die sich auf der ganzen Welt fortsetzt“, sagt Caliskan.
Caliskan sagt, dass die Tools von Hugging Face KI-Entwicklern helfen werden, Verzerrungen in ihren KI-Modellen besser zu verstehen und zu reduzieren. „Wenn die Leute diese Beispiele direkt sehen, glaube ich, dass sie die Bedeutung dieser Vorurteile besser verstehen können“, sagt sie.