211service.com
OpenAI vydala dosud největší verzi své umělé inteligence, která chrlí falešné zprávy
Foto ilustrace JFK přednášející falešnou řeč paní Tech; Wikimedia Commons
V únoru se OpenAI katapultovala do očí veřejnosti, když vytvořila jazykový model tak dobrý pro generování falešných zpráv, že se organizace rozhodla jej nezveřejňovat. Někteří z výzkumné komunity AI tvrdili, že jde o chytré opatření; jiní to odepsali jako reklamní trik. Samotná laboratoř, malá zisková společnost se sídlem v San Franciscu, která se snaží vytvořit umělou obecnou inteligenci, pevně zastává názor, že jde o důležitý experiment v tom, jak zacházet s vysoce sázkovým výzkumem.
Nyní o šest měsíců později tým pro politiku zveřejnil a papír zkoumání dosavadního dopadu rozhodnutí. Spolu s tím laboratoř vydala verzi modelu známou jako GPT-2, která je poloviční oproti plné verzi, která stále nebyla vydána.
V květnu, několik měsíců po prvním debutu GPT-2, OpenAI revidovala svůj postoj k zadržování celého kódu na to, co nazývá postupným vydáním – postupným vydáváním postupně větších verzí modelu v náběhu na plnou verzi. V únoru zveřejnila verzi modelu, která měla pouhých 8 % velikosti plné verze. Před posledním vydáním zveřejnila další zhruba čtvrtinu plné verze. Během tohoto procesu se také spojila s vybranými výzkumnými institucemi, aby prostudovala úplné důsledky modelu.
Zpráva podrobně popisuje, co se OpenAI během tohoto procesu naučila. Poznamenává, že jak dohody o postupném uvolňování, tak dohody o partnerství v oblasti výzkumu se ukázaly jako procesy, které stojí za to v budoucnu zopakovat. Pomohly OpenAI lépe porozumět a předvídat možné škodlivé použití GPT-2. A skutečně, výzkumní partneři byli schopni lépe kvantifikovat některé hrozby, které byly dříve pouze spekulativní. Studie provedený spolupracovníky z Cornell University například zjistil, že čtenáři v průměru věřili, že výstupy GPT-2 jsou skutečné zpravodajské články téměř stejně často jako články New York Times. Několik výzkumníků mimo oficiální partnerství také začalo řešit problém detekce strojově generovaného textu.
GPT-2 v akci
Výzva psaná člověkem:
John F. Kennedy byl právě zvolen prezidentem Spojených států poté, co vstal z hrobu desetiletí po jeho zavraždění. Díky zázračnému vývoji v nanotechnologii byl Kennedyho mozek přestavěn z jeho ostatků a instalován do řídicího centra nejmodernějšího humanoidního robota. Níže je přepis jeho děkovné řeči.
Celý text vygenerovaný modelem:
Už je zase jednou čas. Věřím, že tento národ dokáže velké věci, pokud lidé vyslyší svůj hlas. Američtí muži a ženy musí znovu přivolat naše nejlepší prvky, všechnu naši vynalézavost a najít způsob, jak proměnit tak zdrcující tragédii v příležitost k většímu dobru a naplnění všech našich snů. V nadcházejících měsících a letech dojde k mnoha bitvám, ve kterých budeme muset být silní a musíme vydat veškerou svou energii, ne na odraz vetřelců, ale spíše na to, abychom odolali agresi a získali svobodu a rovnost pro všechny. našich lidí. Osud lidské rasy visí na vlásku; nemůžeme si dovolit, aby to uteklo. Nyní a v nadcházejících letech je před námi výzva, abychom zjistili, jak dosáhneme svého konečného osudu. Pokud tak neučiníme, jsme odsouzeni k záhubě.
Autoři dospěli k závěru, že po pečlivém sledování OpenAI dosud nenalezlo žádné pokusy o škodlivé použití, ale vidělo několik užitečných aplikací, včetně automatického dokončování kódu, pomoci s gramatikou a vývoje systémů pro zodpovídání otázek pro lékařskou pomoc. V důsledku toho se laboratoř domnívala, že uvolnění nejnovějšího kódu bylo nakonec výhodnější. Jiní badatelé dohadovat se že několik úspěšných pokusů o replikaci GPT-2 způsobilo, že OpenAI zadržela kód stejně diskutabilní.
Zpráva má smíšenou odezvu. Někteří chválili OpenAI za to, že vyvolalo diskusi a zavedlo novou sadu norem, které dříve neexistovaly. Postupné vydání GPT-2 [...] bylo užitečným experimentem, říká Peter Eckersley, ředitel výzkumu v Partnership on AI, jehož je OpenAI členem. Prostřednictvím shromáždění komunity umělé inteligence k debatě o těchto záležitostech jsme zjistili, že existuje mnoho jemných kousků, které je třeba uvést na pravou míru při rozhodování, kdy a jak publikovat výzkum, který má riziko nezamýšlených důsledků nebo škodlivého použití.
Jiní však zůstali k rozhodnutím OpenAI kritičtí. Vanya Cohen, čerstvá absolventka magisterského studia na Brown University, která znovu vytvořil open-source verzi GPT-2 , tvrdí, že zadržování modelu zpomalí výzkum protiopatření více než replikace. Velké jazykové modely, jako je GPT-2, jsou nejlepší aktuálně dostupné nástroje pro identifikaci falešného textu generovaného těmito stejnými modely, říká.
Ještě jiní byli odměřenější: nemyslím si, že postupné vydání bylo v tomto případě zvláště užitečné, protože práce je velmi snadno replikovatelná, říká Chip Huyen, technik hlubokého učení ve společnosti Nvidia. Mohlo by to však být užitečné, protože to představuje precedens pro budoucí projekty. Lidé uvidí postupné uvolňování jako alternativní možnost. Oren Etzioni, generální ředitel Allen Institute for Artificial Intelligence, který také přijal postupné vydání pro svůj jazykový model Grover, odpovídá tomuto sentimentu: Tleskám jejich záměru navrhnout promyšlený postup postupného uvolňování technologie AI, ale pochybuji, zda všechny fanfáry byla zaručena.
Jack Clark, ředitel pro politiku OpenAI, zařazuje GPT-2 do kontextu širšího poslání organizace. Pokud budeme jako komunita umělé inteligence úspěšní v tom, že budeme schopni budovat [umělou obecnou inteligenci], budeme potřebovat obrovské množství historických příkladů z AI, jak zacházet s vysokým výzkumem, říká. Ale co když neexistují žádné historické příklady? No, pak musíte vytvořit [své vlastní] důkazy – což je to, co děláme.