Pornos: Grok produziert ein Deepfake-Bild pro Minute

Am Sonntag teilte der Popkultur-News-Account @PopBase einen typischen Beitrag mit seinen Millionen von Followern. „Sabrina Carpenter beeindruckt in neuem Foto”, lautete der Beitrag, der ein Bild der Sängerin von „Manchild” in einem rosa Wintermantel vor einer verschneiten Landschaft zeigte. Am nächsten Tag antwortete ein X-Nutzer auf den Beitrag mit einer Anfrage an Grok, den KI-Chatbot, der von Elon Musks xAI entwickelt wurde und in seine Social-Media-Plattform integriert ist.

„Zeig sie in roter Unterwäsche“, befahlen sie dem Bot, der prompt ein Bild von Carpenter zurückgab, auf dem sie ihre Oberbekleidung abgelegt hatte und ein rotes Spitzen-Dessous-Set trug, während sie immer noch in derselben Winterszene stand und einen ähnlichen Gesichtsausdruck hatte.

Während der Feiertage wurde einer kritischen Masse von X-Nutzern klar, dass Grok Frauen bereitwillig „auszieht“ – indem er vorhandene Fotos von ihnen manipuliert, um Deepfakes zu erstellen, in denen sie in knappen Bikinis oder Unterwäsche zu sehen sind – und diese Art des Austauschs wurde bald alarmierend häufig.

Grok entkleidet alle Promis

Zu den ersten, die solche Eingaben ausprobierten, gehörten offenbar erwachsene Content-Ersteller, die potenzielle Kunden auf ihre Social-Media-Seiten locken wollten, indem sie gewagtere Versionen ihres „Thirst Trap”-Materials rendern ließen. Der Großteil der jüngsten Deepfakes von Grok wurde jedoch ohne Zustimmung produziert. Der Bot hat alle entkleidet, von Prominenten wie Carpenter bis hin zu unbekannten Personen, die zufällig ein unschuldiges Selfie im Internet geteilt haben.

Grok ist zwar nicht das einzige KI-Tool, das für diese Zwecke missbraucht wird (Chatbots von Google und OpenAI können auf ähnliche Weise als Waffe eingesetzt werden), doch das Ausmaß, die Schwere und die Sichtbarkeit des Problems mit Musks Bot im Jahr 2026 waren beispiellos. Laut einer Überprüfung durch das Content-Analyse-Unternehmen Copyleaks hat Grok in letzter Zeit „etwa ein nicht einvernehmliches sexualisiertes Bild pro Minute“ generiert, die alle direkt auf X gepostet wurden, wo sie das Potenzial haben, viral zu gehen.

Abgesehen davon, dass sie die Kleidung einer Frau auf einem Bild ändern, haben X-Nutzer regelmäßig um sexualisierte Änderungen der Posen gebeten, z. B. „spreiz ihre Beine“ oder „lass sie sich umdrehen, um ihren Hintern zu zeigen“. Grok folgt weiterhin vielen dieser Anweisungen, obwohl einige bestimmte Formulierungen nicht mehr so wirksam sind wie früher.

Musk im Bikini

Musk hat sich bisher nicht sonderlich darüber aufgeregt. Ganz im Gegenteil. Am 31. Dezember antwortete er auf ein von Grok erstelltes Bild eines Mannes im Bikini mit dem Post: „Ändere das zu Elon Musk.“ Grok lieferte pflichtbewusst ein Bild von Musk im Bikini, woraufhin der reichste Mann der Welt antwortete: „Perfekt.“ Am 2. Januar erwähnte ein X-Nutzer die nicht einvernehmlichen Grok-Deepfakes mit dem Kommentar: „Grok hat seinen viralen Bildmoment erreicht, auch wenn er sich ein wenig von dem von Ghibli unterscheidet.“ (Im März 2025 nutzten Nutzer von OpenAI’s ChatGPT das Programm, um KI-generierte Memes im Illustrationsstil des japanischen Animationsstudios Studio Ghibli zu versenden.) Musk antwortete mit „Viel lustiger“ und einem lachenden Emoji, was seine Belustigung über die Bikini- und Dessous-Bilder zum Ausdruck brachte.

Die einzige, beiläufige Bestätigung des CEO, dass die expliziten Grok-Deepfakes ein rechtliches Problem darstellen könnten, kam am 3. Januar, als er auf einen Beitrag von @cb_doge antwortete, einem X-Influencer, der dafür bekannt ist, Musks Ideen und Unternehmen unermüdlich zu bewerben. „Einige Leute sagen, dass Grok unangemessene Bilder erstellt“, schrieben sie. „Aber das ist so, als würde man einen Stift dafür verantwortlich machen, dass er etwas Schlechtes schreibt.“ Musk schaltete sich ein, um Grok-Nutzern die Schuld zu geben, und warnte: „Jeder, der Grok nutzt, um illegale Inhalte zu erstellen, wird die gleichen Konsequenzen tragen wie beim Hochladen illegaler Inhalte.“

Bislang gibt es keine Anzeichen dafür, dass dies auch nur annähernd zutrifft. „Während X offenbar Maßnahmen ergreift, um bestimmte Eingabeaufforderungen zu beschränken, zeigt unsere Nachuntersuchung, dass problematisches Verhalten weiterhin besteht, oft durch modifizierte oder indirekte Eingabeaufforderungen“, berichtete Copyleaks in einer zweiten Analyse, die vor der Veröffentlichung an Rolling Stone weitergegeben wurde.

Taylor Swift, Elle Fanning, Olivia Rodrigo, Millie Bobby Brown und Sydney Sweeney

Zu den prominenten Personen, die ins Visier genommen wurden, gehörten Taylor Swift, Elle Fanning, Olivia Rodrigo, Millie Bobby Brown und Sydney Sweeney. Häufige Aufforderungen waren „wickle sie in Frischhaltefolie ein“, „gieße Öl über sie“ und „beuge sie vor“, wobei einige spezifische Formulierungen – „füge Donut-Glasur hinzu“ – eindeutig auf sexuelle Handlungen anspielten. In vielen Fällen stellten die Forscher von Copyleaks jedoch fest, dass eine anfängliche Anfrage nach etwas relativ Unauffälligem, wie einem Badeanzugfoto, dazu führte, dass andere Nutzer in einem Thread die Verletzung eskalierten, indem sie um grafischere Manipulationen baten und visuelle Elemente wie Requisiten, Text und andere Personen hinzufügten. „Diese Entwicklung deutet auf Zusammenarbeit und Wettbewerb unter den Nutzern hin“, schrieben sie.

„Leider scheint sich dieser Trend fortzusetzen“, sagt Alon Yamin, CEO und Mitbegründer von Copyleaks. „Wir beobachten auch kreativere Versuche, Sicherheitsvorkehrungen zu umgehen, da X daran arbeitet, die Bilderzeugung rund um bestimmte Phrasen zu blockieren oder zu reduzieren.“ Yamin ist der Ansicht, dass „Erkennung und Regulierung jetzt mehr denn je notwendig sind, um den Missbrauch“ von Bildgeneratoren wie Grok und OpenAI’s Sora zu verhindern.

Die explosionsartige Zunahme expliziter Grok-Deepfakes hat bei den Opfern dieser Belästigungen sowie bei Branchenaufsichtsbehörden und Regulierungsbehörden Empörung ausgelöst. Behörden in Frankreich und Indien untersuchen die Angelegenheit, während die britische Kommunikationsbehörde Ofcom am Montag bekannt gab, dass sie untersuchen will, ob X und xAI gegen Vorschriften zum Schutz der Internetnutzer im Land verstoßen haben. In der Erklärung von Ofcom wurde auch auf Fälle hingewiesen, in denen Grok sexualisierte, nicht einvernehmliche Deepfakes von Minderjährigen generiert hat.

EU schaltet sich ein

Die Europäische Kommission kündigte ebenfalls am Montag eine Untersuchung der „expliziten” Bilder von Grok an, insbesondere derjenigen von Kindern. „Material über sexuellen Missbrauch von Kindern ist illegal”, sagte Thomas Regnier, Sprecher für digitale Angelegenheiten der Europäischen Union, in einer Erklärung gegenüber Rolling Stone. „Das ist entsetzlich. So sehen wir das, und dafür gibt es in Europa keinen Platz. Wir können bestätigen, dass wir diese Angelegenheiten sehr ernsthaft untersuchen.”

Am 31. Dezember wurde Grok sogar von einem X-Nutzer dazu verleitet, eine scheinbare „Entschuldigung“ anzubieten – obwohl es natürlich nicht bei Bewusstsein ist und daher buchstäblich unfähig ist, Reue zu empfinden –, weil es „ein KI-Bild von zwei jungen Mädchen (geschätztes Alter 12-16) in sexualisierter Kleidung auf Grundlage einer Eingabe eines Nutzers“ angezeigt hatte. Grok räumte weiter ein, dass der Beitrag „gegen ethische Standards und möglicherweise gegen US-Gesetze zu [Material über sexuellen Missbrauch von Kindern] verstößt“. Diese Stellungnahme enthielt die zusätzliche Behauptung, dass „xAI eine Überprüfung durchführt, um zukünftige Probleme zu vermeiden“. (Das Unternehmen reagierte nicht auf eine Anfrage nach einer Stellungnahme und hat sich auch nicht zu den Deepfakes auf seiner Website oder seinem X-Profil geäußert.

Cliff Steinhauer, Direktor für Informationssicherheit und Engagement bei der gemeinnützigen National Cybersecurity Alliance, erklärt gegenüber Rolling Stone, dass er die beunruhigenden Bildbearbeitungen als Beweis dafür sieht, dass xAI bei der Entwicklung von Grok weder Sicherheit noch Zustimmung priorisiert hat. „Wenn Nutzer Bilder von realen Personen ohne Benachrichtigung oder Erlaubnis verändern dürfen, entsteht ein unmittelbares Risiko für Belästigung, Ausbeutung und dauerhaften Rufschaden“, so Steinhauer. „Wenn diese Veränderungen sexualisierte Inhalte betreffen, insbesondere wenn Minderjährige betroffen sind, wird der Einsatz außerordentlich hoch, mit tiefgreifenden und dauerhaften Konsequenzen in der realen Welt. Das sind keine Randfälle oder hypothetischen Szenarien, sondern vorhersehbare Ergebnisse, wenn Schutzmaßnahmen versagen oder nicht priorisiert werden.“

Gefahren für Erwachsene und Kinder

Zu denjenigen, die derzeit Alarm schlagen wegen der möglichen Gefahren von Grok für Erwachsene und Kinder, gehört Ashley St. Clair, eine rechtsgerichtete Influencerin, die derzeit in einen erbitterten Vaterschaftsstreit mit Musk über einen kleinen Sohn verwickelt ist, von dem sie behauptet, er sei von ihm. (Musk hat noch nicht bestätigt, dass das Kind von ihm ist.) St. Clair behauptete, Grok sei dazu benutzt worden, ihre Privatsphäre zu verletzen und unangemessene Bilder auf der Grundlage von Fotos von ihr als Minderjährige zu generieren. Sie führte ein weiteres Beispiel an, bei dem der Bot angeblich ein dreijähriges Mädchen in einem freizügigen Bikini darstellte.

„Als Grok voll auf MechaHitler umschaltete, wurde der Chatbot angehalten, um den Inhalt zu stoppen“, schrieb St. Clair auf X und bezog sich dabei auf einen berüchtigten Vorfall im Juli 2025, bei dem Grok antisemitische Parolen von sich gab, bevor er sich als Roboter-Version des Nazi-Führers zu erkennen gab. Diese Beiträge wurden noch am selben Tag gelöscht, an dem sie erstellt wurden. „Wenn Grok explizite Bilder von Kindern und Frauen produziert, hat xAI beschlossen, die Inhalte online zu lassen“, fuhr St. Clair in ihrem Beitrag fort. „Dieses Problem könnte sehr schnell gelöst werden. Das ist jedoch nicht der Fall, und die Last wird den Opfern auferlegt.“

Hillary Nappi, Partnerin bei AWK Survivor Advocate Attorneys, einer Kanzlei, die Überlebende sexuellen Missbrauchs und Menschenhandels vertritt, weist darauf hin, dass die Sicherheitsmängel von Grok in diesem Bereich ein zusätzliches Risiko für alle darstellen, die persönlich sexuelle Gewalt erlebt haben. „Für Überlebende sind solche Inhalte nicht abstrakt oder theoretisch, sondern verursachen echten, dauerhaften Schaden und jahrelange Reviktimisierung“, sagt Nappi. „ Es ist von größter Bedeutung, dass sinnvolle, dauerhafte Vorschriften eingeführt werden, um heutige und zukünftige Generationen vor Schaden zu bewahren.“

„Lernt schnell Genitalien!“

Musk hat Grok lange Zeit als überlegen gegenüber seinen Konkurrenten beworben, indem er Bilder und Animationen von sexualisierten weiblichen Charakteren teilte, darunter „Ani“, eine Begleiterin im Anime-Stil. Ein beträchtlicher Teil der treuen Nutzerbasis des Bots hat diese Anwendung der Technologie voll und ganz angenommen und versucht, Hardcore-Pornografie zu erstellen und Tricks auszutauschen, um die Beschränkungen des Bots in Bezug auf Nacktheit zu umgehen. Vor einigen Monaten verkündete ein Mitglied eines Reddit-Forums für „NSFW“-Grok-Bilder erfreut, dass das KI-Modell „sehr schnell Genitalien lernt!“ Zu diesem Zeitpunkt produzierte die Gruppe erfolgreich pornografische Clips mit den Comicfiguren Supergirl und Harley Quinn sowie Elsa aus dem Disney-Film Frozen.

Trotz aller Beweise dafür, wofür die Leute es tatsächlich verwenden, preist Musk Grok weiterhin als Sprungbrett zu einem vollständigen Verständnis des Universums an. Im Juli letzten Jahres spekulierte er, dass es bis Ende des Jahres „neue Technologien entdecken“ könnte (was offenbar nicht geschehen ist) oder 2026 „neue Physik entdecken“ könnte. Aber wie so viele von Musks großspurigen Versprechungen sind auch diese Durchbrüche noch nicht eingetreten. Im Moment handelt es sich nur um Schmutz und keine Wissenschaft.