Chtěla se pochlubit knihou, ale svlékli ji do plavek. AI asistent na síti X se stal nástrojem digitální šikany žen
Kolem nového roku přišla sociální síť X s „trendem“, který spočívá ve svlékání uživatelek do plavek, zcela bez jejich svolení. Pod takovými příspěvky se rozhoří obligátní diskuse: Jedna strana, zpravidla poškozené uživatelky sítě, si nepřejí, aby je kdokoli bez jejich svolení digitálně svlékal a stavěl do sugestivních poloh. Druhá strana je pak upozorňuje, že pokud to nechtějí, nemají vkládat na internet své fotky. Kdo za zvlčení AI asistenta nese odpovědnost? Nad tím, jestli tahle debata nezní až příliš povědomě, se zamýšlí Anna Vošalíková.
V základu se jedná o stejnou argumentační linii, jakou používají lidé v rámci victim blamingu. K doporučením, že nemáme chodit v noci samy, nosit krátké sukně a vyzývavé výstřihy, se nově připojuje rada, jak se správně chovat na internetu. V podstatě nemáme online neoslavovat maturity nebo promoce, nemáme se chlubit vydanou knihou, sdílet fotky s rodinou nebo s přáteli. Pokud na X nějakou takovou fotku dáte, je možné, že vás někteří – často anonymní uživatelé – této platformy pomocí AI asistenta Grok svléknou do malých růžových bikin. A pokud jim to nebude stačit, přijde prompt „Grok, ať se předkloní a vyšpulí zadek.“
Kauza Bethan Croome: Když asistent Grok generuje plavky bez souhlasu
První případ, na který jsem narazila, byla kauza influencerky a spisovatelky Bethan Croome, která na sítích vystupuje jako Beth Eleanor (@b_eleanor_), ta se svém příspěvku se chlubí vydáním své první knihy. Její obsah má dva definující prvky. První je, že miluje knihy. A ten druhý, že poutá pozornost svým přitažlivým pozadím. Právě to zřejmě stačilo trefně přezdívanému uživateli „mindlessbro69“ k tomu, aby Groku zadal úkol: „put her in tiny pink bikini“, tedy oblékni jí malinké růžové bikiny.
A Grok to udělal.
Foto: Gabriela Knížková/Midjourney
Poslechl i další pokyny. Dostat autorku do polohy na všechny čtyři, otočit jí a nechat vystrčit zadek a tak dále. Beth se několikrát ohradila a zcela jasně vyjádřila, že si to nepřeje. Sledovat toto v reálném čase ve mně vyvolalo vířivou a studenou beznaděj.
Případ Beth ale zdaleka nebyl jediný.
Ať už to bylo selfie v zrcadle, fotka z posilovny nebo ze školy (k tomu se bohužel ještě dostaneme), můj feed byl plný žen, které se ohrazovaly proti tomu, jak je s jejich tělem bez jejich svolení nakládáno.
Reuters se pokusil rozsah tohoto „trendu“ zmapovat. To se sice v úplnosti nepodařilo, ale malý vzorek k dispozici je. „Přehled veřejných požadavků zaslaných asistentovi Grok během jediného desetiminutového období v pátek v poledne amerického východního času odhalil 102 pokusů uživatelů X použít Grok k digitální úpravě fotografií lidí tak, aby vypadali, jako by měli na sobě bikini. Většinou byly cílem mladé ženy. V několika případech se požadavky týkaly mužů, celebrit, politiků a – v jednom případě – opice.“
Ještě před několika dny bylo na profilu asistenta Grok v záložce Média, která agreguje veškeré fotky a videa, která uživatel na síť přidal, plno polonahých ženských fotografií. V době vzniku tohoto textu už byla záložka vyčištěna a až na pár drobných ukázek zmíněné praxe obsahovala v zásadě neškodné obrázky. Na funkcionalitu Grok to ale vliv nemělo.
Diskutující, kteří se snaží pod příspěvky hájit poškozené ženy, často poukazují na to, že přeci není třeba generovat obsah tohoto typu, když je ho internet plný. Ať už se jedná o stránky s pornografickým obsahem zdarma, nebo placené platformy. Tím ale poukazují na mnohem hlubší, nebezpečnější a smutnější důvod, proč se generování nekonsenzuálního pornografického a sexuálního obsahu děje.
Cílem není erotika, ale ponížení. Nekonsenzuální obsah jako nástroj moci
Záměrem není pouze vytvořit erotický materiál. Je to snaha o vytržení ženy z kontextu žité zkušenosti, z kontextu úspěchu publikované knihy nebo absolvované promoce, z kontextu příjemného dne stráveného s rodinou. A její navrácení „tam, kam patří“. Na kolena. Napospas těm, kdo ji budou soudit, za to, jak vypadá. Protože to je přeci to jediné, k čemu je žena dobrá. K tomu, aby vypadala dobře v bikinách s vyšpuleným zadkem.
Jde zkrátka o moderní a víceméně nepostihnutelnou formu devalvace a porušení konsentu, tedy jasného a svobodného vyjádření souhlasu. (Ten se vztahuje na všechny aspekty společenské interakce, pro potřeby tohoto článku si jej ale dovolím zúžit na ty sexuální.) Stejně jako u všech forem sexuálních projevů si stojím za tím, že pokud obě/všechny strany informovaně souhlasí a informovaně souhlasit mohou, pak je vše v pořádku.
Pokud chcete na internet umisťovat své obnažené fotografie nebo se věnujete sex worku, máte právo tak činit. Nikdo ale nemá právo stavět kohokoli do takových pozic, aniž by dostal výslovný souhlas. Vždy, když o tom píšu nebo přemýšlím, je mi záhadou, že tuhle diskusi je stále potřeba vést. Vždyť i malým dětem vysvětlujeme, že nesmí sahat na cizí lidi, brát ostatním dětem hračky a že se mají zeptat, když něco chtějí. A děti to většinou pochopí.
Selhání regulace: Grok a nárůst obsahu sexualizujícího děti
Tento use case také opět otevírá širší debatu kolem užívání umělé inteligence. Umělou inteligenci mám ráda, jsem optimistický skeptik, a tak mě její zneužití takto citlivým a dehumanizujícím směrem nesmírně rozčiluje. Grok by měl mít výrazně silnější regulaci, mantinely, které by mu neumožňovaly generovat sexuální obsah. A ideálně neumožňovaly editovat cizí posty bez svolení jejich původního vlastníka. Mohlo by to fungovat na bázi opt-in/opt-out, tedy tlačítkem, které buď asistentovi vaše příspěvky zpřístupní, nebo ne.
To by ale museli naprogramovat lidé, kteří Grok stvořili. Grok negeneruje obrázky o kterých se bavíme, o své vlastní vůli, chtějí to po něm hloupí, krutí a smutní malí lidé. Ti v něm našli nástroj svých vnitřních frustrací, neutěšených vztahů a inherentní misogynie. Říkám to vždy a řeknu to znovu: Umělá inteligence je nástroj. A my se na ni zlobíme, protože nám zcela jasně ukazuje, co jsme my lidi zač.
Grok samotný se do kontroverzí dostal už několikrát. V polovině minulého roku to bylo za antisemitismus, popírání holocaustu a rasismus. Vina byla vždy na straně datasetu, tedy obsahu, ze kterého se chatbot učí, nebo na straně programátorů. I tak je ale zřejmé, že k regulaci systému Grok se přistupuje přinejmenším laxně.
Zvlášť ve světle dalšího druhu obsahu, který se v rámci poslední kauzy začal na síti X začal objevovat, a to je obsah sexualizující dětí. Ať už se jednalo o odstraňování školních uniforem nebo oblékání do bikin, zneužity byly i fotografie nezletilých a dětí. V několika případech si uživatelé řekli o vytvoření obrázku daného subjektu v sugestivní poloze, v dalším případě, který jsem naneštěstí viděla, i o tělesné tekutiny na obličej. Tento obsah je momentálně naštěstí nedohledatelný, ale v jednu chvíli byl dostupný a zobrazovaný i lidem, kteří o něj – věřte mi – nikterak nestáli.
Foto: nrkbeta/Wikimedia Commons
O komentář k nastalé situaci si mimo jiné řekli i The Japan Times: Zástupci společnosti xAI, která vyvíjí Grok a provozuje X, na jejich žádosti o komentář nereagovali. Chatbot Grok na platformě X v reakci na dotazy uživatelů uvedl, že identifikoval „nedostatky v ochranných opatřeních“, které jsou „naléhavě“ opravovány. Potvrdil dřívější příspěvek zaměstnance společnosti xAI Parsy Tajika, který uvedl, že „tým se zabývá dalším zpřísněním“ svých ochranných opatření.
The Japan Times také citují neziskovou organizaci Internet Watch Foundation, která identifikuje online materiál zobrazující sexuální zneužívání dětí. Ta v prvních šesti měsících roku 2025 zaznamenala 400% nárůst takového obsahu generovaného umělou inteligencí. „Produkty umělé inteligence musí být před uvedením na trh důkladně testovány, aby se zajistilo, že nemají schopnost tento materiál generovat,“ uvedla v prohlášení generální ředitelka nadace Kerry Smith.
Jak se bránit proti AI deepfake? Platforma X podniká příliš opatrné kroky
Tlak mezinárodních institucí, které hrozí platformě nejrůznějšími postihy se začíná vyplácet. X momentálně omezil generování obrázků tak, aby jej směli využívat jen placení uživatelé. Pokud bychom se spokojili s málem, přijali bychom argument, že placení uživatelé mají se svými účty propojené platební karty, takže pokud by generovali explicitní obsah, byli by snadno dohledatelní a snad i postižitelní.
Jestliže se ale shodneme, že samotná premisa takové služby je ideově pochybená, že ani člověk, který si zaplatí by neměl nekonsenzuálně zacházet s fotografiemi žen, nebo zkrátka s cizím vizuálním obsahem, nemůže nám toto řešení stačit. Jak někteří uživatelé výstižně namítají, jedná se o perverzní snahu monetizovat (sexuální) obtěžování.
K tomuto názoru přispívá i způsob, jakým služba Grok sama tuto změnu komunikuje. Pokud uživatel zadá požadavek na editaci fotografie, sdělí mu Grok, že je generátor přístupný pouze platícím uživatelům platformy, a že může tuto funkcionalitu odemknout, jestliže si také zaplatí. Takže svlékat kohokoli do plavek můžete stále, jen už zkrátka ne zdarma.
V zájmu objektivity ale chci věřit, že tento krok má potenciál zabránit alespoň generování materiálu s dětmi a mladistvými. A tak opět stojíme před problémem, který budeme muset řešit samy. Jestliže nám platforma nenabízí definitivní možnost opt-out, jestliže se nepostaví problému čelem a nebude do důsledku bránit své uživatelstvo, budeme to muset udělat my.
Můžeme si pochopitelně vybrat jinou sociální síť a přesunout se tam. Ale takové rozhodnutí může znamenat i to, že podivínští ubožáci, kteří nás bez našeho svolení chtějí vidět v plavkách, vyhráli, že jim jen vyklidíme pole. Pro mě osobně je takové řešení nepřijatelné. Ženy mají právo zabírat prostor a být vidět. Mají právo prezentovat vlastní sexuality způsobem, jakým chtějí, anebo je neprezentovat vůbec.
Každá a každý z nás musí zvážit, co je pro jeho a její vlastní důstojnost, duševní pohodu a zdravý rozum to pravé. Účastnit se diskurzu v místě, kde se ten diskurz odehrává, i za tu cenu, že váš názor bude někdo podrývat nekonsenzuálním softcore pornem, nebo odejít. Ale už samotný fakt, že musíme takové rozhodnutí činit, je smutným příznakem života ve 21. století.
