Mit freundlicher Genehmigung der Forscher
Zhao räumt ein, dass die Gefahr besteht, dass Menschen die Datenvergiftungstechnik für böswillige Zwecke missbrauchen. Er sagt jedoch, dass Angreifer Tausende von vergifteten Proben benötigen würden, um größeren, leistungsfähigeren Modellen echten Schaden zuzufügen, da sie auf Milliarden von Datenproben trainiert werden.
„Wir kennen noch keine robusten Abwehrmaßnahmen gegen diese Angriffe. Wir haben noch keine Vergiftungsangriffe auf moderne Tiere gesehen [machine learning] Modelle in freier Wildbahn, aber es könnte nur eine Frage der Zeit sein“, sagt Vitaly Shmatikov, Professor an der Cornell University, der sich mit der Sicherheit von KI-Modellen beschäftigt und nicht an der Forschung beteiligt war. „Jetzt ist es an der Zeit, an der Verteidigung zu arbeiten“, fügt Shmatikov hinzu.
Gautam Kamath, Assistenzprofessor an der University of Waterloo, der Datenschutz und Robustheit in KI-Modellen erforscht und nicht an der Studie beteiligt war, sagt, die Arbeit sei „fantastisch“.
Die Untersuchung zeigt, dass Schwachstellen „bei diesen neuen Modellen nicht auf magische Weise verschwinden, sondern nur noch schwerwiegender werden“, sagt Kamath. „Dies gilt insbesondere, da diese Modelle immer leistungsfähiger werden und die Menschen ihnen mehr vertrauen, da der Einsatz mit der Zeit nur steigt.“
Eine starke Abschreckung
Junfeng Yang, Informatikprofessor an der Columbia University, der die Sicherheit von Deep-Learning-Systemen untersucht hat und nicht an der Arbeit beteiligt war, sagt, Nightshade könnte große Auswirkungen haben, wenn es KI-Unternehmen dazu bringt, beispielsweise die Rechte von Künstlern stärker zu respektieren , indem sie eher bereit sind, Lizenzgebühren auszuzahlen.
KI-Unternehmen, die generative Text-zu-Bild-Modelle entwickelt haben, wie Stability AI und OpenAI, haben angeboten, Künstlern die Möglichkeit zu geben, die Verwendung ihrer Bilder zum Trainieren zukünftiger Versionen der Modelle abzulehnen. Aber Künstler sagen, das sei nicht genug. Eva Toorenent, eine Illustratorin und Künstlerin, die Glaze verwendet hat, sagt, dass Opt-out-Richtlinien von Künstlern verlangen, dass sie sich über alles hinwegsetzen und den Technologieunternehmen trotzdem die volle Macht überlassen.
Toorenent hofft, dass Nightshade den Status quo ändern wird.
„Es wird klappen [AI companies] Denken Sie zweimal darüber nach, denn sie haben die Möglichkeit, ihr gesamtes Modell zu zerstören, indem sie unsere Arbeit ohne unsere Zustimmung übernehmen“, sagt sie.
Autumn Beverly, eine weitere Künstlerin, sagt, Tools wie Nightshade und Glaze hätten ihr das Selbstvertrauen gegeben, ihre Arbeiten wieder online zu veröffentlichen. Sie hatte es zuvor aus dem Internet entfernt, nachdem sie herausgefunden hatte, dass es ohne ihre Zustimmung in die beliebte Bilddatenbank LAION kopiert worden war.
„Ich bin wirklich dankbar, dass wir ein Tool haben, das den Künstlern dabei helfen kann, die Macht für ihre eigene Arbeit zurückzugeben“, sagt sie.