Das große Computersoftwareunternehmen Adobe strebt ein Patent für einen KI-Bildscanner an, der „Diversity Auditing“ ermöglichen soll.
Das vorgeschlagene System würde automatisch die Vielfalt der Bilder prüfen und eine Bewertung vornehmen. Das Patent definierte „Diversity Auditing“ als eine Art Datenprüfung, bei der anhand physischer Merkmale, die als „sensible Attribute“ bezeichnet werden, beurteilt wird, ob ein Datensatz ein bestimmtes Maß an Diversität in Bezug auf Rasse, Geschlecht und Alter aufweist.
„Durch den Einsatz von maschinellem Lernen zur Berechnung eines Diversity-Scores basierend auf der Verteilung eines sensiblen Merkmals (wie Rasse, Alter oder Geschlecht) in einer Reihe von Bildern, wobei die Verteilung auf der automatischen Klassifizierung von Gesichtern in den Bildern basiert B. des sensiblen Attributs, kann mindestens eine Ausführungsform der vorliegenden Offenbarung automatisch einen Satz von Bildern auf einen vorgegebenen Diversitätsgrad des sensiblen Attributs prüfen, wodurch ein Benutzer das manuelle Identifizieren und Markieren von Informationen im Zusammenhang mit dem sensiblen Attribut in jedem Bild vermeiden kann des Bildsatzes, und ohne dass eine manuelle Kuratierung eines Kontrollsatzes und die Beschriftung der Bilder im Bildsatz zur Berechnung einer Diversitätsmetrik erforderlich ist.“
Adobe hat den Patentantrag „System and Methods for Diversity Auditing“ (Patent Nr. 20230267764) im vergangenen Februar eingereicht, zusammen mit der Veröffentlichung der Anmeldung letzte Woche. (Suchen Sie hier nach dem Patent).
Im Vorfeld der Patentanmeldung veröffentlichten die Erfinder einen Forschungsbericht, in dem sie ihren Wunsch zum Ausdruck brachten, Online-Medien zu manipulieren, um eine „Utopie“ repräsentativer Vielfalt zu erreichen.
Die Erfinder – Mehrab Tanjim, Ritwik Sinha, Moumita Sinha, David Thomas Arbour und Sridhar Mahadevan – veröffentlichten den Artikel „Generating and Controlling Diversity in Image Search“ und erklärten, dass „Generationen systemischer Vorurteile“ dazu führten, dass rassische und geschlechtsspezifische demografische Muster existierten in bestimmten Berufen. Die Forscher gaben außerdem an, dass Archivbild- und Bildsuchmaschinen diese Voreingenommenheit widerspiegeln und dass KI-generierte Bilder notwendig wären, da eine Optimierung des Algorithmus nicht weit genug gehen würde, um das Problem zu beheben. (Archiv hier).
„Das Streben nach einer utopischen Welt erfordert, den Nutzern von Inhalten die Möglichkeit zu geben, jeden Beruf mit unterschiedlichen Rassen- und Geschlechtsmerkmalen darzustellen“, heißt es in dem Bericht. „Um diese Probleme zu beheben, schlagen wir eine neue Aufgabe der Generierung von Bildern mit hoher Wiedergabetreue vor, indem wir mehrere Attribute aus unausgeglichenen Datensätzen steuern.“
Das Papier wird von der Computer Vision Foundation bereitgestellt, von Microsoft Azure unterstützt und von Amazon, Facebook und Google gesponsert. Arbor war früher Forschungswissenschaftler für die Core Data Science-Gruppe von Facebook.
KLICKEN SIE HIER, UM DIE DAILY WIRE-APP ZU ERHALTEN
In einer scheinbaren Erweiterung dieses Forschungsinteresses schlägt das Adobe-Patent ein KI-System vor, das nicht nur die Vielfalt der auf einer Website oder Datenbank angezeigten Bilder prüfen kann, sondern auch den Inhalt optimieren kann, der einem Benutzer angezeigt wird, der in einer Datenbank nach bestimmten Bildern sucht, mit einem „ „Repräsentativer Satz“ von Bildern in den Rückgabeergebnissen. Letzteres tritt auf, wenn das KI-System feststellt, dass der Diversity-Score für den Bildsatz zu niedrig ist. An diesem Punkt kann das System den Benutzer auch über den Diversity-Score der Bilder informieren.
„[T]„Das System erweitert den Bildsatz, um die Vielfalt des Bildsatzes zu erhöhen“, heißt es im Patent. „Zum Beispiel kann der maschinelle Lernapparat einen Diversity-Score berechnen […] und feststellen, dass der Satz von Bildern unter einem vorgegebenen Diversitätsschwellenwert in der Anzahl der verschiedenen Arten des sensiblen Attributs liegt, die durch den Satz von Bildern dargestellt werden.“
In dem Patent heißt es, dass das System Daten aus Volkszählungsdaten oder Websites abrufen kann, um geeignete Diversitätsschwellenwerte zu ermitteln.
Das KI-System würde aus einem maschinellen Lernmodell bestehen, das ein oder mehrere künstliche neuronale Netze (ANNs) umfassen könnte, eine Art Technologie, die von der Struktur und Funktion menschlicher Gehirnneuronen inspiriert ist. Das maschinelle Lernmodell würde aus einer Bildsammlungskomponente bestehen, die zu einem Gesichtserkennungsnetzwerk führt, das zu einem Bildklassifizierungsnetzwerk führt, das zu einer Verteilungskomponente führt, die zu einer Bewertungskomponente führt und zu einem Generatornetzwerk führt.
Die Bildsammlungskomponente identifiziert und sammelt sowohl bestimmte Bilder und Websites als auch solche, die identifiziert und gesammelt wurden, um eine höhere Diversitätsbewertung zu erreichen. Das Gesichtserkennungsnetzwerk umfasst ein Convolutional Neural Network (CNN), einen Deep-Learning-Algorithmus, der ein Eingabebild aufnimmt und Bedeutung zuweist, um im Laufe der Zeit zu lernen. Das Bildklassifizierungsnetzwerk generiert einen Bildmerkmalsvektor – eine Übersetzung, die Bilder charakterisiert und numerisch quantifiziert – mit besonderem Augenmerk auf sensible Attribute, die zu einem Diversity-Score führen.
Die Verteilungskomponente generiert eine Verteilung der sensiblen Attribute der Bilder auf der Grundlage ihrer Klassifizierung, die dann direkt in die Diversity-Score-Berechnungsfunktion der Scoring-Komponente einfließt. Anschließend kann das Generatornetzwerk basierend auf dem Diversity-Score zusätzliche Bilder generieren. Bei einigen dieser Bilder handelt es sich möglicherweise um KI-generierte Kreationen, „die für einen menschlichen Beobachter authentisch aussehen“, unter Verwendung eines generativen kontradiktorischen Netzwerks (GAN).
The Daily Upside, das erstmals über die Patentanmeldung berichtete, schlug vor, dass das System auch zur Durchführung von Diversity-Audits bei den Mitarbeitern eines Unternehmens anhand von Bildern genutzt werden könne.
Adobe meldete zuletzt den Besitz von über 200 Millionen Fotos, 115 Millionen Vektoren und Illustrationen, 26 Millionen Videos und 73.000 Musiktiteln. Ihre Creative Cloud erreichte im vergangenen Jahr laut Finanzbericht 2022 fast 30 Millionen Abonnenten.