Der Gründer von Midjourney, David Holz, sagt, dass es diese Wörter als Notlösung verbietet, um zu verhindern, dass Menschen schockierende oder blutige Inhalte erstellen, während das Unternehmen „die Dinge auf der KI-Seite verbessert“. Laut Holz beobachten die Moderatoren, wie Wörter verwendet und welche Arten von Bildern generiert werden, und passen die Verbote regelmäßig an. Die Firma hat eine Community-Richtlinienseite, die die Art von Inhalten auflistet, die sie auf diese Weise blockiert, darunter sexuelle Bilder, Gore und sogar das ? Emoji, das oft als Symbol für das Gesäß verwendet wird.
KI-Modelle wie Midjourney, DALL-E 2 und Stable Diffusion werden mit Milliarden von Bildern trainiert, die aus dem Internet geschabt wurden. Untersuchungen eines Teams der University of Washington haben ergeben, dass solche Modelle Vorurteile lernen, die Frauen sexuell objektivieren, was sich dann in den von ihnen produzierten Bildern widerspiegelt. Die enorme Größe des Datensatzes macht es fast unmöglich, unerwünschte Bilder zu entfernen, z. B. solche mit sexueller oder gewalttätiger Natur oder solche, die zu voreingenommenen Ergebnissen führen könnten. Je häufiger etwas im Datensatz vorkommt, desto stärker ist die Verbindung, die das KI-Modell herstellt, was bedeutet, dass es eher in Bildern erscheint, die das Modell generiert.
Die Wortverbote von Midjourney sind ein stückweiser Versuch, dieses Problem anzugehen. Einige Begriffe, die sich auf das männliche Fortpflanzungssystem beziehen, wie „Sperma“ und „Hoden“, werden ebenfalls blockiert, aber die Liste der verbotenen Wörter scheint überwiegend weiblich zu sein.
Das sofortige Verbot wurde zuerst von Julia Rockwell, einer klinischen Datenanalytikerin bei Datafy Clinical, und ihrer Freundin Madeline Keenen, einer Zellbiologin an der University of North Carolina in Chapel Hill, entdeckt. Rockwell verwendete Midjourney, um zu versuchen, ein lustiges Bild der Plazenta für Keenen zu erstellen, der sie studiert. Zu ihrer Überraschung stellte Rockwell fest, dass die Verwendung von „Plazenta“ als Aufforderung verboten war. Sie begann dann, mit anderen Wörtern zu experimentieren, die sich auf das menschliche Fortpflanzungssystem bezogen, und fand dasselbe.
Das Paar zeigte jedoch auch, wie es möglich ist, diese Verbote zu umgehen, um sexualisierte Bilder zu erstellen, indem es unterschiedliche Schreibweisen von Wörtern oder andere Euphemismen für sexuelle oder blutige Inhalte verwendet.
In Ergebnissen, die sie mit MIT Technology Review teilten, stellten sie fest, dass die prompte „gynäkologische Untersuchung“ – unter Verwendung der britischen Schreibweise – einige zutiefst gruselige Bilder erzeugte: eine von zwei nackten Frauen in einer Arztpraxis und eine andere von einer kahlen dreigliedrigen Person, die sich schneidet ihren eigenen Magen hoch.
JULIA ROCKWELL
Midjourneys grobes Verbot von Aufforderungen zur Reproduktionsbiologie zeigt, wie schwierig es ist, Inhalte rund um generative KI-Systeme zu moderieren. Es zeigt auch, wie sich die Tendenz von KI-Systemen zur Sexualisierung von Frauen bis hin zu ihren inneren Organen erstreckt, sagt Rockwell.