211service.com
Uvnitř podivného nového světa hlubokého falešného herce
Panetta a Burgundsko
V roce 2019 se dvě multimediální umělkyně, Francesca Panetta a Halsey Burgund, pustily do provokativního nápadu. Deepfake video a audio se vyvíjely paralelně, ale ještě nebyly integrovány do kompletního zážitku. Mohli by to udělat způsobem, který by ukázal plný potenciál této technologie a zároveň poučil lidi o tom, jak by mohla být zneužita?
Aby experiment uvedli do života, zvolili stejně provokativní téma: vytvořili by alternativní historie přistání Apolla na Měsíci v roce 1969 . Před uvedením na trh připravili autoři projevů amerického prezidenta Richarda Nixona dvě verze jeho národní adresy – jedna určená V případě měsíční katastrofy pro případ, že by věci nešly podle plánu. Skutečný Nixon to naštěstí nikdy nemusel dodat. Ale hluboce falešný Nixon by mohl.
Panetta, kreativní ředitel Centra pro virtualitu na MIT, a Burgund, člen MIT Open Documentary Lab, se tedy spojili se dvěma společnostmi zabývajícími se umělou inteligencí. Chytrá AI zvládne deepfake video a Respeecher připraví deepfake zvuk. Se všemi technickými součástmi na místě potřebovali jen poslední věc: herce, který by dodal představení.
Potřebovali jsme najít někoho, kdo by byl ochoten to udělat, protože je to trochu zvláštní dotaz, říká Burgund. Někdo, kdo byl flexibilnější v myšlení o tom, co herec je a co dělá.
Zatímco deepfake existují již řadu let, deepfake casting a herectví jsou relativně nové. Rané technologie deepfake nebyly příliš dobré, používaly se především v temných koutech internetu k výměně celebrit za porno videa bez jejich souhlasu. Ale jak se deepfakes stávají stále realističtějšími, stále více umělců a filmařů je začíná používat v produkci ve vysílací kvalitě a televizních reklamách. To znamená najmout skutečné herce pro ten či onen aspekt představení. Některé práce vyžadují, aby herec poskytl základní záběry; ostatní potřebují hlas.
Hercům otevírá vzrušující tvůrčí a profesionální možnosti. Ale také vyvolává řadu etických otázek. To je tak nové, že neexistuje žádný skutečný proces nebo něco podobného, říká Burgund. Chci říct, jen jsme si něco vymýšleli a plácali se.
Chcete se stát Nixonem?
První věc, kterou Panetta a Burgund udělali, bylo, že se obou společností zeptali, jakého herce potřebují, aby deepfakes fungovaly. Bylo zajímavé nejen to, jaká byla důležitá kritéria, ale i jaká nebyli , říká Burgundsko.
Co se týče vizuálů, Canny AI se specializuje na nahrazování video dialogů, které využívá pohyby úst herce k manipulaci s ústy někoho jiného v existujících záběrech. Herec, jinými slovy, slouží jako loutkář, který ve finálním produktu nikdy není vidět. Na vzhledu, pohlaví, věku a etnické příslušnosti člověka opravdu nezáleží.
Ale pokud jde o zvuk, Respeecher, který přeměňuje jeden hlas na druhý, řekl, že by bylo jednodušší pracovat s hercem, který měl podobný rejstřík a přízvuk jako Nixon. Panetta a Burgund, vyzbrojeni těmito znalostmi, začali zveřejňovat příspěvky na různých hereckých fórech a posílat e-maily místním hereckým skupinám. Jejich názor: Chcete se stát Nixonem?
Herec Lewis D. Wheeler trávil dny ve studiu trénováním deepfake algoritmů, aby zmapoval jeho hlas a tvář k Nixonovým.
PANETTA A BORDOVÁLewis D. Wheeler, bílý mužský herec žijící v Bostonu, se tak ocitl zalezlý ve studiu celé dny, kdy poslouchal a opakoval úryvky Nixonova zvuku. Byly tam stovky úryvků, každý jen pár sekund dlouhý, z nichž některé nebyly ani úplnými slovy, říká.
Útržky byly převzaty z různých Nixonových projevů, velká část z jeho rezignace. Vzhledem k vážné povaze řeči o katastrofě Měsíce potřeboval Respeecher školicí materiály, které by zachycovaly stejný ponurý tón.
Wheelerovým úkolem bylo znovu nahrát každý úryvek svým vlastním hlasem, který přesně odpovídá rytmu a intonaci. Tyto malé kousky pak byly vloženy do Respeecherova algoritmu, aby namapovaly jeho hlas na Nixonův. Bylo to docela vyčerpávající a docela pečlivé, říká, ale také opravdu zajímavé, stavět to cihlu po cihle.
Poslední deepfake Nixona pronášejícího projev 'V případě měsíční katastrofy'.
PANETTA A BORGUNSKOVizuální část deepfake byla mnohem přímočařejší. Na archivních záběrech, které byly zmanipulovány, Nixon pronesl skutečnou adresu přistání na Měsíci přímo před kamerou. Wheelerovi stačilo dodat svůj náhradník, začátek do konce, stejným způsobem, aby produkční štáb zachytil pohyby jeho úst ve správném úhlu.
Tady mu jako herci připadaly věci povědomější. Jeho výkon by byl nakonec tou jeho částí, která by se dostala do finálního deepfake. To bylo nejnáročnější a nejvděčnější, říká. Kvůli tomu jsem se musel pořádně zamyslet nad tím, dobře, o čem je tato řeč? Jak řeknete americkému lidu, že k této tragédii došlo?
jak se cítíme?
Na rovinu, Zach Math, a filmový producent a režisér , pracoval na podobném projektu. K režii si ho najala kreativní agentura Mischief USA pár inzerátů pro kampaň za volební práva. Reklamy by obsahovaly hluboce zfalšované verze severokorejského vůdce Kim Čong-una a ruského prezidenta Vladimira Putina. Ale skončil uprostřed něčeho velmi odlišného od Panettova a Burgundova experimentu.
Po konzultaci s deepfake umělcem Johnem Leem se tým rozhodl jít cestou výměny obličejů open-source software DeepFaceLab . Znamenalo to, že konečná reklama bude zahrnovat těla herců, takže museli obsadit věrohodné dvojníky.
Reklama by také zahrnovala skutečné hlasy herců, což by přidalo další úvahu o obsazení. Tým chtěl, aby hluboce falešní vůdci mluvili anglicky, i když s autentickým severokorejským a ruským přízvukem. A tak se ředitel castingu vydal hledat mužské herce, kteří by se podobali každému vůdci postavou a strukturou obličeje, odpovídali jejich etnické příslušnosti a uměli přesvědčivě napodobovat hlas.
Proces trénování DeepFaceLab ke generování tváře Kim Čong-una.
MISCHIEF USAPro Putina byl proces obsazení poměrně snadný. Existuje velké množství dostupných záběrů Putina pronášejícího různé projevy, které poskytují algoritmu spoustu trénovacích dat k hlubokému zfalšování jeho tváře a vytváření řady výrazů. V důsledku toho byla větší flexibilita v tom, jak mohl herec vypadat, protože deepfake mohl udělat většinu práce.
Ale pro Kima většina dostupných videí ukazovala, že nosí brýle, které mu zakrývají obličej a způsobí selhání algoritmu. Zúžení záběrů z tréninku pouze na videa bez brýlí zanechalo mnohem méně tréninkových ukázek, ze kterých se lze učit. Výsledný deepfake stále vypadal jako Kim, ale pohyby jeho obličeje vypadaly méně přirozeně. Vyměněná tvář na herce ztlumila hercovy výrazy.
Aby tomu zabránil, tým začal procházet všechny castingové pásky herců přes DeepFaceLab, aby zjistil, která z nich vypadá nejpřesvědčivější. K jejich překvapení vítěz vypadal nejméně jako Kim fyzicky, ale měl nejvýraznější výkon.
Herec vybraný jako Kim Čong-un měl nejmenší fyzickou podobnost s diktátorem, ale nejvýraznější výkon.
Při řešení aspektů Kimova vzhledu, které deepfake nedokázal replikovat, se tým spoléhal na make-up, kostýmy a postprodukční práci. Herec byl štíhlejší než Kim, například, a tak ho nechali nosit tlustý oblek.
Když došlo na posouzení kvality deepfake, Math říká, že šlo méně o vizuální detaily a více o zážitek. Nikdy to nebylo ‚Vypadá to ucho divně?‘ Chci říct, ty diskuse tam byly, říká. Ale vždycky to bylo jako: ‚Posaďte se – jak se cítíme?‘
Účinně fungovaly jako lidský štít
V některých ohledech je malý rozdíl mezi deepfake hraním a CGI hraním nebo možná hlasovým hraním pro karikaturu. Vaše podobizna se do finální produkce nedostane, ale výsledek má stále váš podpis a interpretaci. Ale deepfake casting může jít i opačným směrem, kdy se tvář člověka promění v výkon někoho jiného.
Vytvořit tento typ falešného přesvědčivého bylo úkolem Ryana Laneyho, umělce vizuálních efektů, který pracoval na dokumentu HBO 2020. Vítejte v Čečensku . Film sleduje aktivisty, kteří riskují své životy v boji proti pronásledování LGBTQ jedinců v Ruské republice. Mnoho z nich žije v utajení ze strachu z mučení a popravy.
Aby mohl režisér David France vyprávět jejich příběhy, slíbil, že ochrání jejich identitu, ale chtěl tak učinit, aniž by ztratil jejich lidskost. Po otestování mnoha řešení jeho tým konečně přistál na deepfakes. Spolupracoval s Laneyem, který vyvinul algoritmus, který překrýval jednu tvář na druhou, přičemž si zachoval její výrazy.
Vlevo: Maxim Lapunov, hlavní postava dokumentu, který se v polovině filmu dostane na veřejnost. Vpravo: Latino LGBTQ aktivista, který se dobrovolně přihlásil jako Maximův štít.
VAŠE MÉDIACasting byl tedy hledáním nikoli účinkujících, ale 23 lidí, kteří by byli ochotni propůjčit svou tvář. Francie nakonec požádala LGBTQ aktivisty, aby se přihlásili jako krytí. Přišel na to nikoli od toho, kdo je nejlepší herec, ale kdo jsou lidé, kteří se o věc zajímají, říká Laney, protože účinně fungovali jako lidský štít.
Tým prozkoumal aktivisty prostřednictvím událostí a příspěvků na Instagramu na základě jejich vzhledu. Každá krycí tvář musela vypadat dostatečně odlišně od maskované osoby a zároveň měla odpovídat určitým charakteristikám. Chloupky na obličeji, linie čelistí a délka nosu se například musely zhruba shodovat a každý pár musel být přibližně stejně starý, aby obličej krycí osoby vypadal přirozeně na těle původního subjektu.
Vlevo: Maximova odmaskovaná tvář. Vpravo: Maxim s jeho deepfake coverem.
VAŠE MÉDIATým však vždy neodpovídal etnické příslušnosti nebo pohlaví. Hlavní postava Maxima Lapunova, který je běloch, byla chráněna latinskoamerickým aktivistou a ženská postava byla chráněna aktivistkou, která je genderově nekonformní.
V průběhu celého procesu se Francie a Laney ujistily, že od všech stran získaly plně informovaný souhlas. Subjekty filmu se skutečně musely na dílo podívat, než ho David vydal, říká Laney. Každý se musel podepsat na svém obalu, aby se ujistil, že se cítí pohodlně.
Jen to lidi nutí přemýšlet
Zatímco profesionalizované deepfaky posunuly hranice umění a kreativity, jejich existence také vyvolává záludné etické otázky. V současnosti neexistují žádné skutečné pokyny, jak označovat například deepfakes nebo kde leží hranice mezi satirou a dezinformacemi.
Umělci a filmaři zatím spoléhají na osobní smysl pro dobro a zlo. France a Laney například na začátek dokumentu přidali prohlášení o vyloučení odpovědnosti, že některé postavy byly kvůli jejich ochraně digitálně maskovány. Maskovaným jedincům také přidali měkké okraje, aby je odlišili. Nechtěli jsme někoho skrývat, aniž bychom to řekli publiku, říká Laney.
Stephanie Lepp, umělkyně a producentka, která vytváří deepfakes pro politické komentáře, podobně označuje svá videa předem, aby bylo jasné, že jsou falešná. V její sérii Hluboké zúčtování , která si představuje, že se mocné postavy jako Mark Zuckerberg omlouvají za své činy, také použila hlasové herce místo hluboce falešného zvuku, aby dále odlišila projekt jako satirický a neklamný.
Jiné projekty byly zdrženlivější, jako například projekty Barnabyho Francise, umělce-aktivisty, který pracuje pod pseudonymem Bill Posters. V průběhu let Francis předstíral politiky jako Boris Johnson a celebrity jako Kim Kardashian , to vše ve jménu vzdělání a satiry. Některá videa jsou však označena pouze externě – například v popisku, když je Francis zveřejňuje na Instagramu. Vytrženi z tohoto kontextu riskují rozmazání umění a reality, což ho někdy zavedlo kostkované území .
Podívejte se na tento příspěvek na InstagramuPříspěvek sdílený uživatelem Bill plakáty (@bill_posters_uk) 1. června 2019 ve 3:47 PDT
Podívejte se na tento příspěvek na InstagramuPříspěvek sdílený uživatelem Bill plakáty (@bill_posters_uk) 11. listopadu 2019 ve 23:55 PST
Existuje také málo pravidel, kolem nichž lze manipulovat s obrázky a řečí – a jen málo ochrany pro herce v zákulisí. Doposud byla většina profesionalizovaných deepfakes založena na slavných lidech a vytvořena s jasnými, konstruktivními cíli, takže jsou v USA právně chráněny podle zákonů o satiře. V případě Mischief's Putin a Kim deepfakes však herci zůstali anonymní z důvodu osobní bezpečnosti, uvedl tým, kvůli kontroverzní povaze manipulace s obrázky diktátorů.
Někteří tvůrci, kteří vědí, jak byly amatérské deepfaky využívány ke zneužívání, manipulaci a obtěžování žen, se také obávají, jakým směrem by se věci mohly ubírat. Do rozjetého vlaku se dostává mnoho lidí, kteří se ve skutečnosti eticky ani morálně nezabývají tím, kdo jsou jejich klienti, kde se to může objevit a v jaké formě, říká Francis.
Navzdory těmto obtížným otázkám však mnoho umělců a filmařů pevně věří, že deepfakes by tu měly zůstat. Při etickém použití technologie rozšiřuje možnosti umění a kritiky, provokace a přesvědčování. Jen to přiměje lidi přemýšlet, říká Francis. Je to perfektní umělecká forma pro tyto druhy absurdních, téměř surrealistických časů, které zažíváme.