Trénink jednoho modelu umělé inteligence může za život vyprodukovat tolik uhlíku jako pět aut

Datové centrum děkan Mouhtaropoulos | Getty; editoval MIT Technology Review

Průmysl umělé inteligence je často srovnáván s ropným průmyslem: jakmile jsou data vytěžena a rafinována, mohou být stejně jako ropa vysoce lukrativní komoditou. Nyní se zdá, že se metafora může rozšířit ještě dále. Stejně jako jeho protějšek z fosilních paliv má proces hlubokého učení mimořádný dopad na životní prostředí.

V nový papír , výzkumníci z University of Massachusetts, Amherst, provedli posouzení životního cyklu pro trénování několika běžných velkých modelů umělé inteligence. Zjistili, že tento proces může emitovat více než 626 000 liber ekvivalentu oxidu uhličitého – téměř pětinásobek emisí za celou dobu životnosti průměrného amerického automobilu (a to zahrnuje výrobu samotného automobilu).

Je to otřesná kvantifikace něčeho, co výzkumníci umělé inteligence tušili už dlouhou dobu. I když o tom pravděpodobně mnozí z nás uvažovali v abstraktní, vágní rovině, čísla skutečně ukazují velikost problému, říká Carlos Gómez-Rodríguez, počítačový vědec na univerzitě v A Coruña ve Španělsku, který se na tomto problému nepodílel. výzkum. Ani já, ani jiní výzkumníci, se kterými jsem o nich diskutoval, jsme si nemysleli, že dopad na životní prostředí je tak podstatný.

Uhlíková stopa zpracování v přirozeném jazyce

Příspěvek konkrétně zkoumá modelový tréninkový proces pro zpracování přirozeného jazyka (NLP), podoblasti umělé inteligence, která se zaměřuje na výuku strojů, aby zvládaly lidskou řeč. V posledních dvou letech dosáhla NLP komunita několika pozoruhodných výkonnostních milníků v oblasti strojového překladu, dokončování vět a dalších standardních úloh benchmarkingu. Nechvalně známý model GPT-2 OpenAI, jako jeden příklad, vynikal v psaní přesvědčivých článků o falešných zprávách.

Ale takový pokrok si vyžádal trénování stále větších modelů na rozlehlých souborech dat vět stažených z internetu. Tento přístup je výpočetně nákladný – a vysoce energeticky náročný.

Výzkumníci se podívali na čtyři modely v oboru, které byly zodpovědné za největší skoky ve výkonu: Transformer, ELMo, BERT a GPT-2. Trénovali každého na jednom GPU po dobu až jednoho dne, aby změřili jeho spotřebu energie. Poté použili počet tréninkových hodin uvedený v původních dokumentech modelu k výpočtu celkové energie spotřebované během celého tréninkového procesu. Toto číslo bylo převedeno na libry ekvivalentu oxidu uhličitého na základě průměrného energetického mixu v USA, který úzce odpovídá energetickému mixu používanému Amazon's AWS, největším poskytovatelem cloudových služeb.

Zjistili, že výpočetní a environmentální náklady na školení rostly úměrně velikosti modelu a poté explodovaly, když byly použity další kroky ladění ke zvýšení konečné přesnosti modelu. Konkrétně zjistili, že proces ladění známý jako hledání neuronové architektury, který se snaží optimalizovat model postupným vylepšováním návrhu neuronové sítě pomocí vyčerpávajících pokusů a omylů, měl mimořádně vysoké související náklady s malým přínosem z hlediska výkonu. Bez něj měl nejdražší model BERT uhlíkovou stopu zhruba 1 400 liber ekvivalentu oxidu uhličitého, což se blíží zpátečnímu letu přes Ameriku pro jednu osobu.

A co víc, výzkumníci poznamenávají, že čísla by měla být považována pouze za základní hodnoty. Trénink jednoho modelu je minimální množství práce, kterou můžete udělat, říká Emma Strubell, kandidátka PhD na University of Massachusetts, Amherst, a hlavní autorka článku. V praxi je mnohem pravděpodobnější, že výzkumníci umělé inteligence vyvinou nový model od nuly nebo přizpůsobí stávající model nové sadě dat, což může vyžadovat mnohem více kol školení a ladění.

Strubell a její kolegové použili model, který vyrobili v předchozí papír jako případová studie. Zjistili, že proces sestavení a testování konečného modelu, který bude hodnotný jako papír, vyžaduje zaškolení 4 789 modelů během šestiměsíčního období. V přepočtu na ekvivalent CO2 vyprodukoval více než 78 000 liber a pravděpodobně představuje typickou práci v terénu.

Význam těchto čísel je kolosální – zvláště když vezmeme v úvahu současné trendy ve výzkumu AI. Obecně platí, že většina nejnovějších výzkumů v oblasti umělé inteligence zanedbává efektivitu, protože bylo zjištěno, že velmi velké neuronové sítě jsou užitečné pro různé úkoly, a společnosti a instituce, které mají bohatý přístup k výpočetním zdrojům, toho mohou využít k získání konkurenční výhody. říká Gómez-Rodríguez. Tento druh analýzy bylo třeba provést, aby se zvýšilo povědomí o vynakládaných zdrojích [...] a vyvolá diskusi.

Co pravděpodobně mnozí z nás nepochopili, je jeho rozsah, dokud jsme neviděli tato srovnání, opakoval Siva Reddy, postdoktorand na Stanfordské univerzitě, který nebyl zapojen do výzkumu.

Privatizace výzkumu AI

Výsledky také podtrhují další rostoucí problém v oblasti umělé inteligence: naprostá intenzita zdrojů, která je nyní zapotřebí k vytvoření výsledků hodnověrných na papíře, činí pro lidi pracující v akademické sféře stále náročnější, aby nadále přispívali k výzkumu.

Tento trend směřující k trénování obrovských modelů na tunách dat není pro akademiky proveditelný – zejména pro postgraduální studenty, protože nemáme výpočetní zdroje, říká Strubell. Existuje tedy problém rovného přístupu mezi výzkumnými pracovníky v akademické sféře a výzkumnými pracovníky v průmyslu.

Strubell a její spoluautoři doufají, že jejich kolegové budou dbát zjištění článku a pomohou vyrovnat podmínky tím, že investují do vývoje účinnějšího hardwaru a algoritmů.

Reddy souhlasí. Lidské mozky dokážou úžasné věci s malou spotřebou energie, říká. Větší otázkou je, jak můžeme takové stroje postavit.

skrýt