Zrovna si užíváte ranní kávu, když vám pípne upozornění na telefonu. Pod fotografií z výšlapu na Praděd, kterou jste včera nahráli na platformu X, někdo anonymně zanechal komentář. Označil v něm chatbota Grok a připojil tzv. „prompt“, tedy textový příkaz, kterým uživatel dává umělé inteligenci pokyn k úpravě vaší tváře nebo těla.
Umělá inteligence Grok na základě příkazu vygeneruje upravený snímek, který vypadá jako skutečný. Nezobrazuje vás už ale ve vaší oblíbené mikině a horalkách. Místo toho jste vyobrazeni v sexuální poloze. Pouze ve spodním prádle, a to zcela bez vašeho souhlasu nebo jakékoli kontroly. Tento obrázek se následně objeví veřejně přímo na platformě, kde je přístupný naprosto komukoli. A nejste sami. Podobných zmanipulovaných obrázků s pornografickým podtextem vzniká stovky, a to převážně žen a dětí.
Tvorbu tohoto obsahu navíc usnadňovala samotná aplikace Grok Imagine a její funkce zvaná „Spicy mode“, která záměrně otevírala cestu k tvorbě explicitního obsahu, což vedlo k masivní vlně „digitálního svlékání“ skutečných lidí.
Nefunkční obrana
Pokud se stanete obětí zneužití nástrojem Grok AI, vaše možnosti obrany jsou v současném nastavení digitálního prostředí velmi omezené a často kontraproduktivní. Standardní postupy, jako je nahlašování příspěvků nebo úprava nastavení soukromí, jsou často neúčinné. Hromadné nahlašování může paradoxně k závadným snímkům přitáhnout ještě více pozornosti a šířit je k širšímu publiku, zatímco veřejné vystoupení proti těmto útokům může často vést jen ke zhoršení situace. Útočníci mohou začít vytvářet další sexualizovaný obsah jako formu odvety.
Tito uživatelé si současně radí, jak podobné příkazy pro chatbota vytvářet. Nejde ale „jen o svléknutí“, tělo oběti může být dle přání uživatele pokryto různými substancemi. V neposlední řadě nejde „pouze“ o ponižování žen. Grok je aktivně zneužíván i k sexualizaci dětí. Jednou z obětí je i teprve čtrnáctiletá Nell Fisher ze seriálu Stranger Things, ze které se uživatelé sítě X pokoušeli pomocí bota odstranit oblečení.
Musk o ničem neví
Elon Musk veškerá obvinění ohledně zneužívání nástroje Grok popírá. Současně odmítl, že by nástroj generoval dětskou pornografii. „Nejsem si vědom žádných nahých obrázků nezletilých generovaných Grokem. Doslova nula.“ Snahy o regulaci či vyšetřování ze strany vlád označuje za porušování svobody projevu a záminku k cenzuře. Například Velkou Británii v reakci na hrozbu zákazu nazval „fašistickým státem“.
Svůj postoj dává najevo i výsměchem a zlehčováním. Na zprávy o problému s deepfake pornografií reagoval sérií emotikonů a kritiku britského premiéra Keira Starmera odbyl tím, že sdílel jeho AI vygenerovaný obrázek v bikinách. Tento přístup odpovídá jeho dlouhodobé strategii, kdy Grok propaguje jako „utržený ze řetězu“ (unhinged) a „anti-woke“ nástroj, který se nebojí kontroverze.
Pornografie pro předplatitele
Muskova platforma X ve snaze zabránit zneužívání sice omezila funkci generování obrázků pouze na platící uživatele, to však oběti kritizují jako zneužívání obrazu. Místo odstranění nebo lepšího zabezpečení služby se z nástroje stala placená služba.
Navíc je Grok i přes tato omezení nadále zdarma přístupný komukoli prostřednictvím mobilní aplikace. I neplatící uživatelé tak mohou nadále vytvářet sexualizované deepfakes. Oficiální vyjádření společnosti X uvádí, že uživatelé, kteří Grok využijí k tvorbě nelegálního obsahu, budou čelit stejným následkům, jako kdyby takový obsah na síť přímo nahráli.
Tím se však platforma soustředí především na proces hlášení závadného obsahu. Podle regulátorů tak ale zcela ignorují vrozená rizika v samotném designu platformy, která toto zneužívání technicky dovoluje. Celková neúčinnost obrany je pak podtržena faktem, že úprava nastavení soukromí ani kontaktování platformy často nevedou k odstranění obsahu. Zatímco oběti i nadále čelí eskalaci útoků za to, že o problému veřejně promluvily.
První zákazy, vyšetřování a kontroverze
Tato situace vedla prozatím jen Malajsii a Indonésii k dočasnému zablokování Groku. Zatímco v Británii vstupuje v platnost legislativa, která má vytváření nedobrovolných AI snímků postavit mimo zákon, oběti i odborníci upozorňují, že pomalá reakce vlád a absence základních bezpečnostních filtrů u provozovatele již umožnila devastaci mnoha životů.
Problémy nástroje se však neomezují pouze na sexuální zneužívání. Grok čelí ostré kritice i za šíření nacistické ideologie a antisemitismu. Chatbot v minulosti generoval výroky chválící Adolfa Hitlera, útočil na uživatele s židovským příjmením a v jedné interakci sám sebe označil za „MechaHitlera“.
Systém také propagoval extremistické konspirační teorie, jako je „bílá genocida“, k čemuž byl podle svých vyjádření instruován svými tvůrci v rámci snahy o „anti-woke“ nastavení.
Proč o tom mluvit?
- Absence souhlasu je násilí: Tvorba sexualizovaných snímků bez svolení je útok na důstojnost a práva obětí.
- Reálný dopad: Deepfaky způsobují ponížení, strach a ztrátu kontroly nad vlastním životem.
- Právní následky: Tvorba a šíření intimních deepfakes je nelegální. Zadavatel příkazu nese stejnou odpovědnost jako autor obsahu.
- Nespolehlivá ochrana: Nastavení soukromí ani smazání obsahu nezaručují bezpečí. Jednou vytvořený snímek může kdokoli anonymně šířit dál.
Přesně z tohoto důvodu je důležitá mediální gramotnost a schopnost orientace v digitálním prostředí. To se snažíme nabídnout i v rámci workshopů, kdy pomáháme účastníkům jakéhokoli věku osvojit si nové znalosti, dovednosti a postoje. V případě Groku nejde jen o technologickou kuriozitu a ani o nevinné obrázky. Jedná se o nástroje, které mohou být snadno zneužity k ponižování lidí a mohou mít vážný dopad na jejich životy.
Zdroje:
https://www.tagesspiegel.de/wirtschaft/emporung-uber-musks-ki-chatbot-seit-tagen-veroffentlicht-grok-pornografische-bilder-von-frauen-und-kindern-15108168.html?icid=in-text-link_15138217
https://www.dw.com/de/grok-deepfakes-kinder-bilder-xai-elon-musk-europ%C3%A4ische-union/a-75459226
https://www.bbc.com/news/articles/ckgvx88md4do
https://www.theverge.com/news/859309/grok-undressing-limit-access-gaslighting
https://www.npr.org/2025/07/09/nx-s1-5462609/grok-elon-musk-antisemitic-racist-content