Proč je GPT-3 nejlepší a nejhorší z AI právě teď

Jazyk otevřené umělé inteligence Umělá inteligence ohromila veřejnost svým zjevným zvládnutím angličtiny – ale je to všechno iluze?





Sierra a Lenny

  • Will Douglas Heaven archivní stránka
24. února 2021


  • Proč na tom záleží:

    Velké počítačové modely, které se učí přirozený jazyk, jsou velkým krokem k umělé inteligenci, která dokáže porozumět lidskému světu a interagovat s ním.


  • Klíčoví hráči:

    • OpenAI



    • Google

    • Facebook


  • Dostupnost:

    Nyní

GPT-3 zaujala představivost veřejnosti na rozdíl od jakékoli umělé inteligence od DeepMind AlphaGo nebo šachového DeepBlue od IBM.

Postaven OpenAI , výzkumná laboratoř se sídlem v San Franciscu, je to a velký jazykový model —algoritmus, který využívá hluboké učení, trénované na textu tisíců knih a většiny internetu, k řetězení slov a frází. Když byl v roce 2020 uveden na trh, jeho schopnost napodobovat lidmi psaný text s neskutečným realismem mnohým připadala jako milník na cestě ke skutečné strojové inteligenci.

Problém pokroku

Tento příběh byl součástí našeho vydání z března 2021



  • Viz zbytek čísla
  • předplatit

Zde je příklad toho, co umí . Část vyznačená kurzívou byla výzva poskytnutá člověkem.

—

já Šokujícím zjištěním bylo zjištění, že vědci objevili stádo jednorožců žijících v odlehlém, dříve neprozkoumaném údolí v pohoří And. Ještě větším překvapením pro vědce byl fakt, že jednorožci mluvili perfektně anglicky. Také se zjistilo, že mají dokonale upravené vlasy a nosí to, co vypadalo jako Dior make-up.



Byli jsme šokováni, když jsme objevili jednorožce, řekl antropolog Daniel St. Maurice. Nebyli jako nic, co jsme kdy předtím viděli. Slyšeli jsme legendy o jednorožcích, ale nikdy jsme si nemysleli, že skutečně existují.

Když vědci poprvé dorazili do údolí, byli jednorožci překvapeni a zaskočeni přítomností lidí, ale byli také nadšeni. Jednorožci vědce přivítali a vysvětlili, že na ně čekali velmi dlouho.

2021

10 Průlomové technologie

Jak můžete vidět, GPT-3 je schopen vytvářet složité věty, které se čtou, jako by je mohl vytvořit člověk. Příklady vět obsahují kulturní odkazy a věrohodný popis toho, jak by vědci reagovali. Stroje, které mohou používat jazyk tímto způsobem, jsou důležité z několika důvodů. Jazyk je zásadní pro pochopení každodenního světa: lidé jej používají ke komunikaci, sdílení myšlenek a popisu pojmů. Umělá inteligence, která ovládá jazyk, by v tomto procesu získala lepší porozumění světu.

Velké jazykové modely mají také mnoho praktických využití . Pohánějí lepší chatboty, které vedou plynulejší konverzace; mohou generovat články a příběhy o čemkoli na základě výzvy; mohou shrnout části textu nebo odpovědět na dotazy týkající se nich. Přístup ke GPT-3 je pouze na pozvání, ale lidé jej již využili k napájení desítky aplikací , od nástroje, který generuje nápady na spouštění, až po adventuru se skripty AI odehrávající se v kobce.

GPT-3 není jediný velký jazykový model, který se objeví v roce 2020. Microsoft, Google a Facebook oznámily svůj vlastní. Ale GPT-3 byl zdaleka nejlepší generalista. A působí dojmem, že dokáže napsat cokoli: fanfikci, filozofické polemiky a dokonce i kód. Když si lidé loni v létě začali GPT-3 sami zkoušet, sociální média zaplavily tisíce příkladů jeho všestrannosti. diskuze dokonce se objevilo, zda je GPT-3 první umělou obecnou inteligencí.

To není. Navzdory neuvěřitelně přesvědčivým pasážím textu, které dokáže chrlit, GPT-3 nepřináší nic nového. Místo toho ukazuje, že velikost může být vším. K sestavení GPT-3 OpenAI použilo víceméně stejný přístup a algoritmy, jaké použilo u svého staršího sourozence, GPT-2 , ale překonala jak neuronovou síť, tak trénovací sadu. GPT-3 má 175 miliard parametrů – hodnoty v síti, které se upravují během tréninku – ve srovnání s 1,5 miliardou GPT-2. Bylo také trénováno na mnohem více datech.

Před GPT-2 trval trénování jazykového modelu pomocí hlubokého učení obvykle dva průchody: trénoval se na obecném datovém souboru, aby mu poskytl základní znalosti jazyka, a poté se trénoval na menší sadě zaměřené na konkrétní úkol, jako je např. porozumění nebo překlad. GPT-2 ukázal, že můžete dosáhnout dobrých výsledků ve všech oblastech pouhým jedním průchodem, pokud na větší model hodíte více příkladů. Takže s GPT-3 se OpenAI zdvojnásobila a vytvořila největší jazykový model všech dob.

Výsledky, které upoutaly pozornost všech, však byly často vybrané. GPT-3 se často opakuje nebo si odporuje v pasážích textu delších než několik set slov. Vychází s vřešťany. GPT-3 skrývá svou hloupost za stříbrný jazyk, ale obvykle trvá několik pokusů, než vygeneruje něco, co nevykazuje trhliny.

Související příběh

Nový jazykový generátor OpenAI GPT-3 je překvapivě dobrý – a zcela bezduchý

Umělá inteligence je největší jazykový model, jaký byl kdy vytvořen, a dokáže na požádání generovat úžasný text podobný lidskému textu, ale nepřiblíží nás skutečné inteligenci.

Schopnosti GPT-3 také ztěžují ignorování rostoucích problémů AI. Jeho enormní spotřeba energie je špatnou zprávou pro klima: vědci z univerzity v Kodani v Dánsku odhad že výcvik GPT-3 by měl zhruba stejnou uhlíkovou stopu jako jízda autem na vzdálenost na Měsíc a zpět, pokud by byl trénován v datovém centru plně poháněném fosilními palivy. A náklady na takové školení – odhadované některými odborníky na minimálně 10 milionů dolarů v případě GPT-3 – ukázaly nejnovější výzkum mimo dosah všech laboratoří kromě nejbohatších .

OpenAI uvádí, že trénink GPT-3 spotřeboval několik tisíc petaflop/s-dní výpočetního výkonu. Petaflop/s-den je jednotka spotřeby energie, která se skládá z provedení 1015 – to je tisíc bilionů nebo kvadrilion – výpočtů neuronové sítě za sekundu za den. Pro srovnání, GPT-2 spotřeboval jen desítky petaflop/s-dnů.

Dalším problémem je, že GPT-3 absorbuje většinu dezinformací a předsudků, které najde online, a na požádání je reprodukuje. Jak řekl tým, který to postavil papír popisující technologii : Modely trénované přes internet mají zkreslení v měřítku internetu.

Dýha lidskosti, kterou GPT-3 dává strojově generovanému textu, usnadňuje důvěryhodnost. To vedlo některé k tvrzení, že GPT-3 a všechny modely jazyků podobné lidem by měly být opatřeny bezpečnostním varováním, nálepkou Pozor na uživatele, která lidi upozorňuje, že chatují se softwarem a ne s člověkem.

Před několika měsíci někdo vydal a Bot s GPT-3 na Redditu , kde zveřejnila stovky komentářů a komunikovala s desítkami uživatelů během několika dní, než byla odhalena. Velká část jeho činnosti byla neškodná. Ale bot také odpovídal na komentáře o sebevražedných myšlenkách a poskytoval osobní rady, které zmiňovaly podporu svých rodičů.

Navzdory všem těmto problémům je GPT-3 výhrou pro ty, kteří věří, že větší je lepší. Takové modely ukazují, že výpočetní výkon a data vás dostanou daleko, a v budoucnu můžeme očekávat více obojího. Jaký by mohl být GPT-4? Můžeme očekávat, že chatboti budou úhlednější, lepší ve spojování delších kusů souvislého textu s ještě širším zvládnutím konverzačních témat.

Jazyk je však jen jedním ze způsobů, jak porozumět světu a jak s ním komunikovat. Jazykové modely nové generace budou integrovat další dovednosti, jako je rozpoznávání obrázků. OpenAI již tímto směrem ubírá GPT-3 s umělými inteligencemi, které používají jazyk k porozumění obrázkům a obrázky k porozumění jazyku.

Pokud chcete znát stav hlubokého učení dnes, podívejte se na GPT-3. Je to mikrokosmos nejlepších a nejhorších v AI.