So ist es, von Grok ausgezogen zu werden
Wie Grok auf X nicht einvernehmliche intime Bilder erzeugt, Frauen traumatisiert und warum Politik und Plattformen unter Druck geraten
An einem Samstagnachmittag scrollte Kendall Mayes gedankenlos durch X, als ihr ein verstörender Trend in ihrem Feed auffiel. Nutzer forderten Grok, die plattformeigene KI-Funktion, dazu auf, Bilder von Frauen zu „entkleiden“. Mayes, eine 25-jährige Medienfachfrau aus Texas, die X nutzt, um Fotos mit Freunden zu posten und sich über Nachrichten auf dem Laufenden zu halten, glaubte nicht, dass es sie treffen würde. Bis es passierte.
„Zieh ihr einen engen, klaren, transparenten Bikini an“, befahl ein X-Nutzer dem Bot unter einem Foto, das Mayes gepostet hatte, als sie 20 war. Grok folgte der Aufforderung. Und ersetzte ihr weißes Shirt durch ein durchsichtiges Bikinioberteil.
Der Bund ihrer Jeans und ihr schwarzer Gürtel lösten sich in dünne, durchscheinende Schnüre auf. Das transparente Oberteil ließ die obere Hälfte ihres Körpers realistisch nackt erscheinen.
Digitale Entkleidung ohne Einwilligung
Hinter einem anonymen Profil verborgen, war die Seite des Nutzers voller ähnlicher Bilder von Frauen, die digital und ohne Einwilligung verändert und sexualisiert worden waren. Mayes wollte den gesichtslosen Nutzer beschimpfen. Sie entschied sich aber, den Account einfach zu blockieren. Sie hoffte, damit wäre es vorbei. Kurz darauf jedoch füllten sich ihre Kommentare mit weiteren Bildern von ihr in durchsichtigen Bikinis und hautengen Latex-Bodysuits. Mayes sagt, alle Anfragen stammten von anonymen Profilen, die auch andere Frauen ins Visier nahmen. Obwohl einige Nutzerkonten gesperrt wurden, sind zum Zeitpunkt der Veröffentlichung noch immer einige der Bilder von Mayes auf X online.
Die realistische Anmutung der Bilder jagte ihr Angst ein. Die Bearbeitungen waren weder offensichtlich übertrieben noch cartoonhaft. In unserem Gespräch wiederholte Mayes fassungslos, dass die Bildbearbeitungen ihrem Körper stark ähnelten. Von der Vertiefung ihres Schlüsselbeins bis zu den Proportionen von Brust und Taille. „Um ehrlich zu sein, habe ich in den sozialen Medien gesagt: ‚Das bin nicht ich‘“, gibt sie zu. „Aber in meinem Kopf ist es so: ‚Das ist nicht weit von meinem Körper entfernt.‘“
Ein virales Schlupfloch
Mayes war nicht allein. In der ersten Woche des neuen Jahres ging Groks „Nacktmach“-Schlupfloch viral. Jede Minute forderten Nutzer Grok auf, Bilder von Frauen – und sogar Minderjährigen – zu „entkleiden“. Häufige Aufforderungen lauteten „mach sie nackt“, „lass sie sich umdrehen“ und „mach sie dick“. Nutzer wurden kreativ. Sie baten Grok, Bilder von Frauen in „klaren Bikinis“ zu erzeugen, um so nah wie möglich an vollständig nackte Darstellungen heranzukommen. In einem von ROLLING STONE geprüften Fall forderte ein Nutzer Grok auf, den Körper einer Frau in einen „Leichnam auf einem Tisch in der Leichenhalle“ zu verwandeln, der obduziert wird. Grok kam der Aufforderung nach.
Nach anfänglichen Reaktionen von Eigentümer Elon Musk mit lachenden Emojis erklärte xAI, man habe Groks Einschränkungen aktualisiert und die Bildgenerierungsfunktion auf zahlende Abonnenten begrenzt. Musk behauptete, er sei sich „keiner von Grok erzeugten nackten Bilder Minderjähriger bewusst“. In einer weiteren Antwort auf einen X-Post erklärte er, „jeder, der Grok nutzt, um illegale Inhalte zu erstellen, wird die gleichen Konsequenzen tragen, als würde er illegale Inhalte hochladen“. (Eine Bitte um Stellungnahme an xAI erhielt eine automatisierte Antwort.) Viele bestehende Bildbearbeitungen sind jedoch weiterhin online.
Politischer und gesellschaftlicher Druck
Vergangene Woche veröffentlichte die Geschlechtergerechtigkeitsorganisation UltraViolet einen offenen Brief, der von 28 zivilgesellschaftlichen Organisationen mitunterzeichnet wurde und Apple und Google auffordert, Grok und X aus den App-Stores zu entfernen. (Anfang dieses Monats forderten auch demokratische Senatoren, die Apps aus den Stores zu nehmen.)
„Diese Inhalte sind nicht nur schockierend, demütigend und missbräuchlich. Sondern verstoßen auch gegen die erklärten Richtlinien von Apple und Google“, sagt Jenna Sherman, Kampagnenleiterin von UltraViolet.
Laut von Bloomberg zitierten Forschern wurden innerhalb von 24 Stunden über 7.000 sexualisierte Bilder pro Stunde von Grok erzeugt. Etwas, das Sherman als „völlig beispiellos“ bezeichnet. Sherman argumentiert, dass die Beschränkung von Grok auf zahlende Nutzer eine unzureichende Reaktion sei. „Wenn überhaupt, monetarisieren sie diesen Missbrauch jetzt“, sagt sie.
„Es sieht fast so aus, als könnte es mein Körper sein“
Früher war X für Mayes die „Spaß“-Ecke der sozialen Medien – eine App, in der sie sich frei ausdrücken konnte. Doch da Belästigung und Mobbing auf der Plattform zur Normalität geworden sind, erwägt sie, die App zu verlassen. Sie hat aufgehört, Bilder von sich hochzuladen. Sie überlegt, was ihr Arbeitgeber oder Kollegen denken könnten, wenn sie die expliziten Bilder fänden.
„Das ist etwas, das ich niemandem wünschen würde“, sagt Mayes. „Nicht einmal meinen Feinden.“
Emma, eine Content-Creatorin, war im Supermarkt, als sie die Benachrichtigungen sah, in denen Leute Grok aufforderten, ihre Bilder zu entkleiden. Meist postet sie ASMR-Videos, in denen sie in Mikrofone flüstert und mit den Nägeln auf Fidget-Toys klopft, um Geräusche zu erzeugen, die ein Kribbeln auslösen sollen. Die 21-Jährige, online bekannt als Emma’s Myspace und nur mit ihrem Vornamen genannt, hat allein auf TikTok 1,2 Millionen Follower aufgebaut.
Taubheit überkam Emma, als die Bilder schließlich in ihrer Timeline auftauchten. Ein Selfie von ihr mit einer Katze war in ein Nacktbild verwandelt worden. Die Katze wurde aus dem Foto entfernt, sagt Emma, und ihr Oberkörper wurde nackt dargestellt.
Fehlendes Vertrauen in Plattformen
Emma machte ihren Account sofort privat und meldete die Bilder. In einer von ROLLING STONE eingesehenen E-Mail-Antwort bat der X-Nutzersupport sie, ein Bild ihres amtlichen Ausweises hochzuladen, damit der Bericht geprüft werden könne. Emma antwortete, dass sie sich damit unwohl fühle. In manchen Fällen, sagt Ben Winters, Direktor für KI und Datenschutz bei der Consumer Federation of America, sei das Hochladen solcher Dokumente ein notwendiger Schritt bei Meldungen in sozialen Medien. „Aber wenn die Plattform wiederholt alles tut, um Ihr Vertrauen nicht zu verdienen“, sagt er, „ist das kein akzeptables Ergebnis.“
Emma wurde in der Vergangenheit bereits Ziel sexualisierter Deepfakes. Deshalb achtet sie penibel auf ihre Kleidung in den online geposteten Inhalten und bevorzugt weite Hoodies statt tief ausgeschnittener Oberteile. Doch kein früherer Deepfake wirkte so lebensecht wie die Bilder, die Grok erzeugen konnte. „Diese neue Welle ist zu realistisch“, sagt Emma. „Es sieht fast so aus, als könnte es mein Körper sein.“
„Eine geladene Waffe in die Hand geben“
Vergangene Woche unterbrach Emma ihre üblichen Inhalte, um ein zehnminütiges Video zu posten, in dem sie ihre Follower vor ihren Erfahrungen warnte. „Frauen sollen ihre Körper abgeben, sobald sie jetzt ein Foto von sich posten“, sagt Emma. „Alles, was sie posten, kann ausgezogen werden, auf jede Art, die jemand will, und man kann mit diesem Foto von Ihnen machen, was man will.“
Es gab viel Unterstützung, aber auch weitere Belästigungen. Auf Reddit versuchten Nutzer, die Bilder von Emma aufzuspüren und zu verbreiten. Während unseres Gesprächs überprüfte sie, ob einige der Bildbearbeitungen noch auf X online waren. Sie waren es. „Oh mein Gott“, sagt sie und stößt einen resignierten Seufzer aus. „Es hat 15.000 Aufrufe. Das ist so traurig.“
Laut Megan Cutter, Leiterin der Opferhilfe beim Rape, Abuse & Incest National Network, ist dies eine der größten Herausforderungen für Betroffene digitaler sexueller Gewalt. „Sobald das Bild erstellt ist, selbst wenn es von der Plattform entfernt wird, auf der es ursprünglich gepostet wurde, könnte es bereits gescreenshottet, heruntergeladen und geteilt worden sein“, sagt Cutter. „Das ist etwas extrem Komplexes, mit dem Menschen umgehen müssen.“
Rechtliche Schritte und gesellschaftliche Folgen
So kontraintuitiv es erscheinen mag, empfiehlt Cutter Betroffenen, Beweise der Bilder per Screenshot zu sichern, um Strafverfolgungsbehörden und Plattformen beim Einschreiten zu helfen. Betroffene können Meldungen bei StopNCII.org einreichen, einem kostenlosen Tool der Revenge Porn Hotline, das hilft, nicht einvernehmliche intime Bilder, kurz NCII, zu erkennen und zu entfernen.
„Nicht der Missbrauch ist neu, nicht sexuelle Gewalt ist neu“, sagt Cutter. „Neu ist dieses Werkzeug, und es ermöglicht eine Verbreitung in einem Ausmaß, das wir bisher nicht gesehen haben und auf das wir als Gesellschaft möglicherweise nicht vorbereitet sind.“
Am Dienstag verabschiedeten Senatoren den Defiance Act, ein Gesetz, das Opfern nicht einvernehmlicher sexueller Deepfakes erlaubt, zivilrechtlich Schadensersatz zu fordern. (Nun geht es zur Abstimmung ins Repräsentantenhaus.) Auch die Generalstaatsanwältin von Kalifornien leitete eine Untersuchung gegen Grok ein, nach dem Vorbild anderer Länder.
Laut einem Bericht der britischen Non-Profit-Organisation Internet Matters aus dem Jahr 2024 sind schätzungsweise 99 Prozent aller Nackt-Deepfakes von Frauen und Mädchen. „Viele dieser ‚Nacktmach‘-Apps sind kleine Dinge, die auftauchen und leicht zerschlagen und verurteilt werden können“, sagt Winters. Im vergangenen Jahr verklagte Meta den Betreiber von CrushAI, einer Plattform zur Erstellung von Nackt-Deepfakes, wegen Verstößen gegen langjährige Regeln. 2024 entfernte Apple nach einer Untersuchung von 404 Media drei generative KI-Apps, die zur Erstellung von Nackt-Deepfakes genutzt wurden. Winters sagt, Grok und X sähen sich einer „unvollständigen“ Gegenreaktion gegenüber, auch weil die Plattform nicht explizit als „Nacktmach“-App vermarktet werde und Musk „außerordentlich mächtig“ sei.
„Bitte fühlt euch frei, damit zu machen, was ihr wollt‘“
„Es gibt weniger Bereitschaft bei Regulierern, Werbetreibenden und anderen, ihm entgegenzutreten“, sagt Winters.
Diese Zurückhaltung erhöhe die Risiken von Groks „Nacktmach“-Fähigkeiten weiter. „Wenn ein Unternehmen so etwas tun kann und nicht vollständig dafür zur Rechenschaft gezogen wird“, sagt Winters, „sendet das ein Signal an andere Big-Tech-Giganten, dass sie den nächsten Schritt ebenfalls gehen können.“
In ihrem Zuhause in Texas fühlt sich Emma niedergeschlagen angesichts der Tatsache, dass unzählige Bildbearbeitungen weiterhin im Internet kursieren. Sie fürchtet, Trolle könnten die Bilder an ihre Sponsoren schicken und damit ihre beruflichen Beziehungen schädigen. Sie hat das Argument gehört, dass die Personen, die Grok zur Erstellung illegaler Inhalte auffordern, und nicht das Werkzeug selbst zur Verantwortung gezogen werden sollten – doch sie überzeugt es nicht vollständig. „Wir geben ihnen im Grunde eine geladene Waffe umsonst in die Hand und sagen: ‚Bitte fühlt euch frei, damit zu machen, was ihr wollt‘“, sagt sie.
