Četli jsme noviny, které donutily Timnita Gebru z Googlu. Zde je to, co říká.

Hvězdný výzkumník etiky společnosti upozornil na rizika velkých jazykových modelů, které jsou pro podnikání Google klíčové.





  • Karen Hao archivní stránka
4. prosince 2020 Timnit Gebru

s laskavým svolením Timnit Gebru

Ve středu 2. prosince večer Timnit Gebru, spoluvedoucí etického týmu Google pro umělou inteligenci, oznámil přes Twitter že ji společnost donutila odejít.

Gebru, široce uznávaný lídr ve výzkumu etiky umělé inteligence, je známý svým spoluautorem průlomový papír který ukázal, že rozpoznávání obličeje je méně přesné při identifikaci žen a lidí s jinou barvou pleti, což znamená, že jeho použití je může skončit diskriminací. Také spoluzaložila afinitní skupinu Black in AI a podporuje rozmanitost v technologickém průmyslu . Tým, který pomohla vybudovat ve společnosti Google, je jedním z nejrozmanitějších v oblasti umělé inteligence a zahrnuje mnoho předních odborníků samých o sobě. Kolegové v oboru mu záviděli, že produkuje kritickou práci, která často zpochybňuje běžné postupy umělé inteligence.



NA série tweetů , uniklé e-maily , a mediální článek ukázal, že Gebruův odchod byl vyvrcholením konfliktu o další práci, na které se podílela. Jeff Dean, šéf Google AI, řekl kolegům v interním e-mailu (který má od té doby dát online ), že noviny nesplňovaly naše podmínky pro zveřejnění a že Gebru řekla, že odstoupí, pokud Google nesplní řadu podmínek, které nebude ochoten splnit. Gebru tweetoval to požádala o vyjednání posledního termínu svého zaměstnání poté, co se vrátí z dovolené. Před návratem byla odříznuta od svého firemního e-mailového účtu.

Mnoho dalších vůdců v oblasti etiky umělé inteligence na internetu tvrdí, že ji společnost vytlačila kvůli nepohodlným pravdám, které odhalovala o hlavní linii jejího výzkumu – a možná o jejím konečném výsledku. Má také více než 1 400 zaměstnanců Google a 1 900 dalších příznivců podepsal protestní dopis .

Mnoho podrobností o přesném sledu událostí, které vedly k Gebruově odchodu, není dosud jasné; ona i Google odmítly komentovat kromě svých příspěvků na sociálních sítích. Ale MIT Technology Review získal kopii výzkumné práce od jedné ze spoluautorek, Emily M. Benderové, profesorky počítačové lingvistiky na Washingtonské univerzitě. Ačkoli nás Bender požádal, abychom samotný článek nezveřejňovali, protože autoři nechtěli, aby tak raný návrh koloval online, poskytuje určitý pohled na otázky, které Gebru a její kolegové v souvislosti s umělou inteligencí kladli a které by mohly způsobovat obavy Googlu.



O nebezpečí stochastických papoušků: Mohou být jazykové modely příliš velké? uvádí rizika velkých jazykových modelů – AI trénované na ohromující množství textových dat. Tyhle vyrostly stále oblíbenější -a čím dál větší - v posledních třech letech. Nyní jsou za správných podmínek mimořádně dobří v produkování něčeho, co vypadá jako přesvědčivý, smysluplný nový text – a někdy v odhadování významu z jazyka. V úvodu článku se však ptáme, zda bylo dostatečně promyšleno potenciální rizika spojená s jejich vývojem a strategiemi ke zmírnění těchto rizik.

Papír

Příspěvek, který navazuje na práce jiných badatelů, představuje historii zpracování přirozeného jazyka, přehled čtyř hlavních rizik velkých jazykových modelů a návrhy na další výzkum. Protože se zdá, že konflikt s Googlem je kvůli rizikům, zaměřili jsme se na jejich shrnutí zde.

Environmentální a finanční náklady

Trénink velkých modelů umělé inteligence spotřebovává velké množství výpočetního výkonu počítače, a tedy i hodně elektřiny. Gebru a její spoluautoři odkazují na článek z roku 2019 od Emmy Strubellové a jejích spolupracovníků na uhlíkové emise a finanční náklady velkých jazykových modelů. Zjistilo se, že jejich spotřeba energie a uhlíková stopa od roku 2017 explodují, protože modely jsou zásobovány stále více daty.



Strubellova studie zjistila, že trénování jednoho jazykového modelu s konkrétním typem metody hledání neuronové architektury (NAS) by vyprodukovalo ekvivalent 626 155 liber (284 metrických tun) oxidu uhličitého – přibližně celoživotní produkci pěti průměrných amerických automobilů. Školení verze jazykového modelu Google, BERT, o který se opírá vyhledávač společnosti , produkoval 1 438 liber ekvivalentu CO2 podle Strubellova odhadu – téměř stejně jako zpáteční let mezi New Yorkem a San Franciskem. Tato čísla by měla být považována za minimální, náklady na jednorázové školení modelu. V praxi se modelky během výzkumu a vývoje mnohonásobně školí a přeškolují.

Návrh dokumentu Gebru poukazuje na to, že pouhé zdroje potřebné k vybudování a udržování tak velkých modelů umělé inteligence znamenají, že mají tendenci být přínosem pro bohaté organizace, zatímco změna klimatu nejvíce zasáhne marginalizované komunity. Je načase, aby výzkumní pracovníci upřednostnili energetickou účinnost a náklady, aby snížili negativní dopad na životní prostředí a nespravedlivý přístup ke zdrojům, píší.

Masivní data, nevyzpytatelné modely

Velké jazykové modely jsou také trénovány na exponenciálně rostoucím množství textu. To znamená, že se výzkumníci snažili shromáždit všechna data, která mohli, z internetu, takže existuje riziko, že rasistické, sexistické a jinak urážlivé výrazy skončí v datech školení.



Model umělé inteligence naučený vnímat rasistický jazyk jako normální je samozřejmě špatný. Výzkumníci však poukazují na několik jemnějších problémů. Jedním z nich je, že posuny v jazyce hrají důležitou roli ve společenských změnách; hnutí MeToo a Black Lives Matter se například pokusila vytvořit nový antisexistický a antirasistický slovník. Model umělé inteligence trénovaný na obrovských pásech internetu nebude naladěn na nuance tohoto slovníku a nebude produkovat ani interpretovat jazyk v souladu s těmito novými kulturními normami.

Nepodaří se také zachytit jazyk a normy zemí a národů, které mají omezený přístup k internetu, a tím i menší jazykovou stopu online. Výsledkem je, že jazyk generovaný umělou inteligencí bude homogenizován a bude odrážet postupy nejbohatších zemí a komunit.

Navíc, protože trénovací datové sady jsou tak velké, je těžké je auditovat, aby se zjistilo, zda tyto vložené zkreslení neobsahují. Metodologie, která se opírá o datové soubory příliš velké na to, aby je bylo možné dokumentovat, je proto ze své podstaty riskantní, uzavírají výzkumníci. Zatímco dokumentace umožňuje potenciální odpovědnost, [...] nezdokumentovaná data školení udržují škody bez možnosti postihu.

Náklady na výzkum

Výzkumníci shrnují třetí výzvu jako riziko nesprávně zaměřeného výzkumného úsilí. Ačkoli většina výzkumníků AI uznává, že velké jazykové modely vlastně ne rozumět Jazyk a jsou prostě vynikající manipulující Big Tech může vydělávat peníze z modelů, které přesněji manipulují s jazykem, takže do nich neustále investuje. Toto výzkumné úsilí s sebou nese náklady obětované příležitosti, píší Gebru a její kolegové. Není tolik úsilí vynaloženo na práci na modelech umělé inteligence, které by mohly dosáhnout porozumění nebo které dosahují dobrých výsledků s menšími, pečlivěji spravovanými soubory dat (a tedy také spotřebovávají méně energie).

Iluze smyslu

Posledním problémem velkých jazykových modelů je podle vědců to, že protože jsou tak dobré v napodobování skutečného lidského jazyka, je snadné je použít k oklamání lidí. Vyskytlo se několik vysoce sledovaných případů, jako je např student který chrlil svépomocné a produktivní rady generované umělou inteligencí na blogu, který se stal virálním.

Nebezpečí jsou zřejmá: modely umělé inteligence by mohly být použity ke generování dezinformací například o volbách nebo pandemii covid-19. Mohou se také neúmyslně pokazit při použití pro strojový překlad. Výzkumníci uvádějí příklad: V roce 2017 Facebook špatně přeloženo příspěvek palestinského muže, který říkal dobré ráno v arabštině, když na ně zaútočil v hebrejštině, což vedlo k jeho zatčení.

Proč na tom záleží

Práce Gebru a Bendera má šest spoluautorů, z nichž čtyři jsou výzkumníci společnosti Google. Bender požádal, aby se vyhnul zveřejnění jejich jmen ze strachu z následků. (Bender je naproti tomu profesorem ve funkci: myslím, že to podtrhuje hodnotu akademické svobody, říká.)

Cílem článku, říká Bender, bylo zhodnotit krajinu současného výzkumu v oblasti zpracování přirozeného jazyka. Pracujeme v takovém měřítku, že lidé, kteří stavějí věci, nemohou data ve skutečnosti objímat, řekla. A protože jsou výhody tak zřejmé, je obzvláště důležité ustoupit a zeptat se sami sebe, jaké jsou možné nevýhody? … Jak z toho získáme výhody a zároveň zmírníme riziko?

Dean, šéf AI společnosti Google, ve svém interním e-mailu uvedl, že jedním z důvodů, proč noviny nesplňovaly naše požadavky, bylo to, že ignorovaly příliš mnoho relevantních výzkumů. Konkrétně řekl, že se nezmiňuje o novější práci na tom, jak učinit velké jazykové modely energeticky efektivnějšími a zmírnit problémy zkreslení.

Těchto šest spolupracovníků však čerpalo ze široké škály stipendií. Seznam citací článku se 128 odkazy je pozoruhodně dlouhý. Je to druh práce, kterou žádný jednotlivec nebo dokonce dvojice autorů nemůže vytáhnout, řekl Bender. Tuto spolupráci to opravdu vyžadovalo.

Verze článku, kterou jsme viděli, také přikývla na několik výzkumných snah o snížení velikosti a výpočetních nákladů velkých jazykových modelů a o měření vloženého zkreslení modelů. Tvrdí však, že toto úsilí nebylo dostatečné. Jsem velmi otevřený tomu, jaké další odkazy bychom měli zahrnout, řekl Bender.

Později Nicolas Le Roux, výzkumník Google AI v kanceláři v Montrealu uvedeno na Twitteru že zdůvodnění v Deanově e-mailu bylo neobvyklé. Moje příspěvky byly vždy kontrolovány na odhalení citlivého materiálu, nikdy ne na kvalitu literárního přehledu, řekl.

Deanův e-mail také říká, že Gebru a její kolegové dali Google AI pouze jeden den na interní kontrolu dokumentu, než jej odeslali na konferenci ke zveřejnění. Napsal, že naším cílem je konkurovat recenzovaným časopisům, pokud jde o přísnost a ohleduplnost v tom, jak hodnotíme výzkum před publikováním.

Bender poznamenal, že i tak by konference stále podrobila dokument důkladnému recenznímu procesu: Stipendium je vždy rozhovor a vždy probíhá práce, řekla.

Jiní, včetně Williama Fitzgeralda, bývalého PR manažera Google, ano dále zpochybňovat na Deanův nárok.

Google byl průkopníkem většiny základních výzkumů, které od té doby vedly k nedávné explozi velkých jazykových modelů. Google AI byl první, kdo vynalezl Transformátorový jazykový model v roce 2017, který slouží jako základ pro pozdější model společnosti BERT a GPT-2 a GPT-3 společnosti OpenAI. BERT, jak je uvedeno výše, nyní také ovládá vyhledávání Google, což je dojná kráva společnosti.

Bender se obává, že akce Google by mohly mít mrazivý dopad na budoucí výzkum etiky AI. Mnoho špičkových odborníků na etiku AI pracuje ve velkých technologických společnostech, protože tam jsou peníze. To bylo přínosné v mnoha ohledech, říká. Ale skončíme s ekosystémem, který možná má pobídky, které nejsou úplně nejlepší pro pokrok vědy ve světě.

Aktualizace (7. prosince): Byly přidány další podrobnosti k objasnění environmentálních nákladů velkých jazykových modelů.

skrýt