211service.com
Ke svlékání nezletilých dívek se používá deepfake bot
Savka Jankovič / EyeEm
Aktualizace 28. 10.: Od zveřejnění tohoto článku byl deepfake bot na Telegramu zablokován na iOS kvůli porušení pokynů App Store, podle výzkumníků . Byl také odstraněn hlavní kanál telegramu, který hostoval robota, a přidružený kanál pro sdílení jeho výtvorů.
V červnu 2019, Vice odhalil existenci znepokojivé aplikace, která používala AI ke svlékání žen. S názvem DeepNude umožnil uživatelům nahrát fotku oblečené ženy za 50 dolarů a získat zpět její fotku zdánlivě nahou. Ve skutečnosti software používal generativní nepřátelské sítě, algoritmus za deepfakes, k výměně ženských šatů za vysoce realistická nahá těla. Čím spořeji oděná oběť, tím lépe. Na muže to nefungovalo.
Během 24 hodin vyvolal článek Vice takový odpor, že tvůrci aplikace rychle sundal to . Twitterový účet DeepNude oznámil, že nebudou vydány žádné další verze a nikdo jiný nezíská přístup k technologii.
Ale a nové vyšetřování od společnosti Sensity AI (dříve Deeptrace Labs), společnosti zabývající se kybernetickou bezpečností zaměřenou na odhalování zneužívání zmanipulovaných médií, nyní zjistila, že velmi podobnou technologii používá veřejně dostupný bot v aplikaci pro zasílání zpráv Telegram. Tentokrát má ještě jednodušší uživatelské rozhraní: kdokoli může poslat robotovi fotografii prostřednictvím mobilní nebo webové aplikace Telegram a během několika minut získat nahá záda. Služba je také zcela zdarma, i když uživatelé mohou zaplatit základ 100 rublů (přibližně 1,50 $) za výhody, jako je odstranění vodoznaku na odstraněných fotografiích nebo přeskočení fronty na zpracování.
V červenci 2020 byl robot již použit k zacílení a odstranění nejméně 100 000 žen, z nichž většina pravděpodobně neměla tušení. Obvykle jsou to mladé dívky, říká Giorgio Patrini, generální ředitel a hlavní vědecký pracovník společnosti Sensity, který je spoluautorem zprávy. Bohužel, někdy je také zcela zřejmé, že někteří z těchto lidí jsou nezletilí.
Gamifikace obtěžování
Deepfake bot, spuštěný 11. července 2019, je připojen k sedmi telegramovým kanálům s celkovým počtem více než 100 000 členů. (Toto číslo nezahrnuje duplicitní členství napříč kanály, ale samotná hlavní skupina má více než 45 000 unikátních členů.)
Centrální kanál je věnován hostování samotného robota, zatímco ostatní se používají pro funkce, jako je technická podpora a sdílení obrázků. Kanály pro sdílení obrázků zahrnují rozhraní, která mohou lidé používat k zveřejňování a posuzování svých nahých výtvorů. Čím více se fotka líbí, tím více je její tvůrce odměněn tokeny pro přístup k prémiovým funkcím robota. Tvůrce dostane pobídku, jako by hrál hru, říká Patrini.
Členská komunita, kterou lze snadno zjistit pomocí vyhledávání a sociálních médií, za poslední rok neustále rostla. Průzkum mezi 7200 uživateli ukázal, že zhruba 70 % z nich pochází z Ruska nebo jiných rusky mluvících zemí. Zdá se však, že oběti pocházejí z širšího spektra zemí, včetně Argentiny, Itálie, Ruska a USA. Většina z nich jsou soukromé osoby, o kterých uživatelé robota říkají, že je znají v reálném životě nebo které našli na Instagramu. Vědcům se podařilo identifikovat jen malou hrstku žen a pokusili se je kontaktovat, aby porozuměli jejich zkušenostem. Žádná z žen neodpověděla, říká Patrini.
Výzkumníci se také obrátili na Telegram a příslušné orgány činné v trestním řízení, včetně FBI. Telegram neodpověděl ani na jejich poznámku, ani na následnou žádost MIT Technology Review o komentář. Patrini říká, že od kontaktu s úřady také nezaznamenali žádný hmatatelný dopad na tyto komunity.
Deepfake porno o pomstě
Zneužívající už nějakou dobu používají pornografické snímky k obtěžování žen. v roce 2019 studie z Americké psychologické asociace zjistila, že jedna z 12 žen se v určité fázi svého života stane obětí pomstychtivého porna. Studie od australské vlády při pohledu na Austrálii, Velkou Británii a Nový Zéland zjistili, že tento poměr je až jeden ze tří. Deepfake revenge porno dodává obtěžování zcela nový rozměr, protože oběti si neuvědomují, že takové obrázky existují.
Existuje také mnoho případů, kdy byly deepfaky použity k cílení na celebrity a další vysoce postavené osoby. Tato technologie se poprvé stala populární v hlubokých zákoutích internetu jako způsob, jak vyměnit tváře celebrit za porno videa, a byla používána jako součást obtěžovacích kampaní k umlčení novinářky . Patrini říká, že mluvil také s influencery a youtubery, kteří si nechali poslat své hluboce zfalšované pornografické snímky přímo jejich sponzorům, což je stálo nesmírné emocionální a finanční vypětí.
Patrini má podezření, že tyto cílené útoky by mohly být mnohem horší. On a jeho kolegové výzkumníci již viděli, jak technologie postupuje a rozšiřuje se. Například objevili další ekosystém s více než 380 stránkami věnovanými vytváření a sdílení explicitních deepfakes na ruské platformě sociálních médií VK. (Po zveřejnění tohoto článku zaslal mluvčí VK MIT Technology Review prohlášení: 'VK netoleruje takový obsah nebo odkazy na platformě a blokuje komunity, které je šíří. Provedeme další kontrolu a zablokujeme nevhodný obsah a Vědci také zjistili, že algoritmus svlékání se začíná uplatňovat u videí, jako jsou záběry modelek bikin kráčejících po ranveji. Právě teď musí být algoritmus aplikován snímek po snímku – v tuto chvíli je to velmi rudimentární, říká Patrini. Ale jsem si jistý, že to lidé zdokonalí a také za tím vytvoří licenční službu.
Bohužel stále existuje jen málo způsobů, jak zastavit tento druh činnosti – ale povědomí o problémech roste. Společnosti jako Facebook a Google a výzkumníci, kteří vyrábějí nástroje pro vytváření deepfake, začali vážněji investovat do protiopatření, jako je automatická detekce deepfake. Loni představil i Kongres USA nový účet to by vytvořilo mechanismus pro oběti, aby se domáhaly právního postihu za poškození pověsti.
Mezitím, říká Patrini, Sensity bude pokračovat ve sledování a hlášení těchto typů škodlivých deepfakes a bude se snažit více porozumět motivacím těch, kteří je vytvářejí, a dopadům na životy obětí. 'Ve skutečnosti jsou údaje, které sdílíme v této zprávě, pouze špičkou ledovce,' říká.
Aktualizace: Do článku bylo přidáno oficiální vyjádření ruské platformy sociálních médií VK.