Umělá inteligence se naučila používat nástroje po téměř 500 milionech her na schovávanou

OpenAi

V prvních dnech života na Zemi byly biologické organismy mimořádně jednoduché. Byli to mikroskopičtí jednobuněční tvorové s malou nebo žádnou schopností koordinace. Přesto miliardy let evoluce prostřednictvím konkurence a přírodního výběru vedly ke složitým formám života, které máme dnes – stejně jako ke složité lidské inteligenci.

Výzkumníci z OpenAI, ziskové laboratoře pro výzkum umělé inteligence v San Franciscu, nyní testují hypotézu: pokud byste dokázali napodobit tento druh konkurence ve virtuálním světě, dalo by to vzniknout mnohem sofistikovanější umělé inteligenci?

Experiment staví na dvou existujících myšlenkách v této oblasti: učení s více agenty, myšlence umístit několik algoritmů do soutěže nebo koordinace, aby vyvolaly vznikající chování, a posilovací učení, specifická technika strojového učení, která se učí dosáhnout cíle prostřednictvím pokusů a chyba. (DeepMind zpopularizoval poslední jmenovaný se svým průlomovým programem AlphaGo, který porazil nejlepšího lidského hráče ve starověké čínské deskové hře Go.)

V nový papír OpenAI, která byla dnes zveřejněna, nyní odhalila své první výsledky. Prostřednictvím stamilionového hraní jednoduché hry na schovávanou vyvinuly dva protichůdné týmy agentů AI složité strategie skrývání a hledání, které zahrnovaly používání nástrojů a spolupráci. Výzkum také nabízí vhled do dominantní výzkumné strategie OpenAI: dramaticky škálovat stávající techniky umělé inteligence, abyste viděli, jaké vlastnosti se objeví.

Po zhruba 25 milionech kol na schovávanou se schovávači naučili stavět pevnosti, aby hru vyhráli. OpenAI

Šest fází strategie

Pro vytvoření hry vědci navrhli virtuální prostředí, které sestávalo z uzavřeného prostoru s různými předměty, jako jsou bloky, rampy a mobilní i nepohyblivé barikády. Agenti sami byli řízeni algoritmy učení se zesílením. Pro každou hru byli agenti rozděleni do dvou týmů: skrývající byli odměněni nebo penalizováni za to, že se vyhýbali nebo nedokázali vyhnout hledačům; hledači byli také odměněni nebo penalizováni za nalezení nebo neúspěšné nalezení skrývajících se. Stejně jako v klasické hře na schovávanou dostali schovávači také několik sekund náskok. Výzkumníci nedali agentům žádné další pokyny.

V průběhu stovek milionů herních her vyvinuli agenti několik strategií a protistrategií. Během první fáze si skrývači a hledači vyvinuli velmi hrubé strategie vyhýbání se a pronásledování pohybem po prostoru, aniž by manipulovali s jakýmkoliv z objektů.

Ve třetí fázi se hledači naučili lézt přes hradby pevnosti pomocí rampy. OpenAI

Ale kolem 25 milionů her se hra stala sofistikovanější. Ukrývači se naučili přesouvat a zamykat krabice a barikády v prostředí, aby kolem sebe postavili pevnosti, aby je hledači nikdy neviděli. Nejen to, ale také vyvinuli koordinační strategie, jako je vzájemné míjení objektů, aby se urychlil proces budování pevnosti.

Po dalších 75 milionech kol však hledači objevili protistrategii a posunuli proces do třetí fáze. Naučili se přesouvat rampu vedle pevnosti skrýší a používat ji k přelézání zdí. Ve čtvrté fázi, o 10 milionů ran později, se skrývači naučili zamknout rampy na místě, než postavili svou pevnost. (Žádný tým nemohl odemknout objekt, který byl zamčen týmem soupeře.)

Zpočátku se výzkumníci z OpenAI domnívali, že jde o poslední fázi hraní hry, ale nakonec se při hranici 380 milionů her objevily další dvě strategie. Hledači znovu vyvinuli strategii, jak proniknout do pevnosti skrýší pomocí zamčené rampy, aby vylezli na odemčenou krabici, pak si prošli cestu po krabici do pevnosti a přes její stěny. V závěrečné fázi se skrývači opět naučili uzamknout všechny rampy a bedny na místě, než postaví svou pevnost.

Nakonec, po 380 milionech kol výcviku, se hledači naučili „surfovat na boxu“, aby přelézali zdi pevnosti. OpenAI

Vznikající inteligence

Vědci se domnívají, že tyto počáteční výsledky ukazují slibnou novou metodu pro vývoj složitější umělé inteligence. Neřekli jsme schovávačům nebo hledačům, aby běželi blízko krabice nebo s ní interagovali, říká Bowen Baker, jeden z autorů článku. Ale díky multiagentní soutěži si navzájem vytvořili nové úkoly, takže se druhý tým musel přizpůsobit.

Tato studie odráží osobitý přístup OpenAI k výzkumu AI. Ačkoli laboratoř také investovala do vývoje nových technik ve srovnání s jinými laboratořemi, především si udělala jméno tím, že dramaticky rozšířila stávající. GPT-2, nechvalně známý jazykový model laboratoře, například silně převzatý algoritmický návrh z dřívějších jazykových modelů, včetně BERT společnosti Google ; Primární inovací OpenAI byl výkon inženýrství a rozsáhlých výpočetních zdrojů.

Tato studie svým způsobem znovu potvrzuje hodnotu testování limitů stávajících technologií ve velkém měřítku. Tým také plánuje pokračovat v této strategii. Výzkumníci říkají, že první kolo experimentů se nepřiblížilo k dosažení limitů výpočetních zdrojů, které by mohli problém vyřešit.

Chceme, aby si lidé představili, co by se stalo, kdybyste vyvolali tento druh konkurence v mnohem složitějším prostředí, říká Baker. Chování, které se naučí, může být ve skutečnosti schopné vyřešit některé problémy, které možná ještě nevíme, jak vyřešit.

Oprava: V původním nadpisu bylo špatně uvedeno, kolik her agenti hráli.

skrýt