Tyto virtuální robotické paže jsou chytřejší tím, že se navzájem trénují

na virtuální robot arm se naučil řešit širokou škálu různých hádanek —skládání kostek, prostírání stolu, uspořádání šachových figurek — aniž byste museli být pro každý úkol přeškolováni. Dělalo to tak, že hrálo proti druhé robotické paži, která byla vycvičena tak, aby jí dávala těžší a těžší výzvy.

Vlastní hra: Vyvinutý výzkumníky na OpenAI , identické robotické paže – Alice a Bob – se učí hraním hry proti sobě v simulaci, bez lidského zásahu. Roboti používají posilovací učení, techniku, ve které jsou AI trénovány metodou pokusu a omylu, jaké akce podniknout v různých situacích k dosažení určitých cílů. Hra zahrnuje přesouvání předmětů po virtuálním stole. Uspořádáním předmětů specifickým způsobem se Alice snaží nastavit hádanky, které je pro Boba těžké vyřešit. Bob se snaží vyřešit Aliciny hádanky. Jak se učí, Alice klade složitější hádanky a Bob se zlepšuje v jejich řešení.

Po nácviku blokových hádanek, které připravila Alice, může Bob zobecnit řadu úkolů, včetně prostírání stolu a uspořádání šachových figurek.

Multitasking: Modely hlubokého učení se obvykle musí mezi úkoly přeškolit. Například AlphaZero (která se také učí hraním her proti sobě) používá jediný algoritmus, aby se naučila hrát šachy, shogi a Go – ale vždy jen jednu hru. AlphaZero, který hraje šachy, nemůže hrát Go a ten, kdo hraje Go, nemůže hrát shogi. Stavění strojů, které skutečně umí multitasking, je velký nevyřešený problém cesta k obecnější AI .

AI dojo: Jedním z problémů je, že trénování AI na multitasking vyžaduje obrovské množství příkladů. OpenAI se tomu vyhýbá tím, že trénuje Alici, aby generovala příklady pro Boba, a pomocí jedné AI trénovala jinou. Alice se naučila dávat si cíle, jako je postavit věž z bloků, pak ji zvedat a balancovat. Bob se naučil používat vlastnosti (virtuálního) prostředí, jako je tření, k uchopování a otáčení objektů.

Virtuální realita: Tento přístup byl zatím testován pouze v simulaci, ale výzkumníci v OpenAI a jinde se zdokonalují v přenosu modelů trénovaných ve virtuálních prostředích do fyzických. Simulace umožňuje AI procházet velkými datovými sadami v krátkém čase, než jsou doladěny pro reálná nastavení.

Celkové ambice: Vědci tvrdí, že jejich konečným cílem je vycvičit robota, aby vyřešil jakýkoli úkol, o který by ho člověk mohl požádat. Stejně jako GPT-3, jazykový model, který dokáže používat jazyk mnoha různými způsoby, jsou tato robotická ramena součástí celkové ambice OpenAI vybudovat multitaskingovou AI. Klíčovou součástí toho může být použití jedné AI k trénování jiné.

skrýt