211service.com
Chaotická, utajovaná realita stojící za snahou OpenAI zachránit svět
Greg Brockman, spoluzakladatel a CTO; Ilya Sutskever, spoluzakladatel a hlavní vědec; a Dario Amodei, ředitel výzkumu. Christie There Klok
Každý rok zaměstnanci OpenAI hlasují o tom, kdy věří, že umělá obecná inteligence neboli AGI konečně dorazí. Většinou je to považováno za zábavný způsob, jak se spojit, a jejich odhady se značně liší. Ale v oblasti, kde se stále diskutuje o tom, zda jsou autonomní systémy podobné lidem vůbec možné, polovina laboratoří sází na to, že se to pravděpodobně stane do 15 let.
Za čtyři krátké roky své existence se OpenAI stala jednou z předních výzkumných laboratoří AI na světě. Vytvořila si jméno produkcí soustavně napínavého výzkumu spolu s dalšími těžkými váhami umělé inteligence, jako je Alphabet's DeepMind. Je také miláčkem v Silicon Valley, mezi její zakladatele patří Elon Musk a legendární investor Sam Altman.
Především je to lionizováno pro své poslání. Jejím cílem je jako první vytvořit AGI – stroj se schopnostmi lidské mysli učit se a uvažovat. Účelem není světovláda; laboratoř chce spíše zajistit, aby byla technologie vyvíjena bezpečně a její přínosy byly rovnoměrně distribuovány do celého světa.
Z toho plyne, že AGI by se mohla snadno zbláznit, pokud by vývoj technologie zůstal na cestě nejmenšího odporu. Úzká inteligence, druh nemotorné umělé inteligence, která nás dnes obklopuje, už posloužila jako příklad. Nyní víme, že algoritmy jsou neobjektivní a křehké; mohou se dopustit velkého zneužívání a velkého podvodu; a náklady na jejich vývoj a provoz mají tendenci soustředit jejich moc do rukou několika. Extrapolací by AGI mohla být katastrofální bez pečlivého vedení benevolentního pastýře.
OpenAI chce být tím pastýřem a pečlivě vytvořila svou image tak, aby odpovídala potřebám. V oboru, kterému dominují bohaté korporace, byla založena jako nezisková organizace. Své první oznámení řekl, že toto rozlišení by jí umožnilo vytvářet hodnotu pro každého, nikoli pro akcionáře. Své charta — dokument tak posvátný, že výplata zaměstnanců je vázána na to, jak dobře jej dodržují — dále prohlašuje, že primární svěřenecká povinnost OpenAI je vůči lidstvu. Bezpečné dosažení AGI je tak důležité, pokračuje, že pokud by jiná organizace byla blízko k dosažení tohoto cíle jako první, OpenAI by s ní přestala soutěžit a místo toho by spolupracovala. Tento lákavý příběh si dobře pohrává s investory a médii a v červenci Microsoft vložil do laboratoře čerstvou 1 miliardu dolarů.
Logo OpenAI visí v jeho kanceláři. Christie Hemm Klok
Ale tři dny v kanceláři OpenAI – a téměř tři desítky rozhovorů s minulými i současnými zaměstnanci, spolupracovníky, přáteli a dalšími odborníky v oboru – naznačují jiný obrázek. Existuje nesoulad mezi tím, co společnost veřejně prosazuje, a tím, jak funguje za zavřenými dveřmi. Postupem času umožnila zuřivou konkurenceschopnost a rostoucí tlak na stále více finančních prostředků, aby narušila její základní ideály transparentnosti, otevřenosti a spolupráce. Mnozí, kteří pracují nebo pracovali pro společnost, trvali na anonymitě, protože neměli oprávnění mluvit nebo se báli odplaty. Jejich účty naznačují, že OpenAI je přes všechny své ušlechtilé aspirace posedlá udržováním tajemství, ochranou svého obrazu a zachováním loajality svých zaměstnanců.
Od svého nejranějšího pojetí se AI jako obor snažila porozumět lidské inteligenci a poté ji znovu vytvořit. V roce 1950 začal Alan Turing, uznávaný anglický matematik a počítačový vědec papír s dnes již známou provokací Mohou stroje myslet? O šest let později, uchvácena nepříjemnou myšlenkou, se skupina vědců sešla na Dartmouth College, aby tuto disciplínu formalizovala.
Je to jedna z nejzákladnějších otázek celé intelektuální historie, že? říká Oren Etzioni, generální ředitel Allen Institute for Artificial Intelligence (AI2), neziskové výzkumné laboratoře AI se sídlem v Seattlu. Je to jako, rozumíme původu vesmíru? Rozumíme hmotě?
Problém je v tom, že AGI vždy zůstávalo vágní. Nikdo nedokáže pořádně popsat, jak by to mohlo vypadat nebo minimum toho, co by to mělo dělat. Není například zřejmé, že existuje pouze jeden druh obecné inteligence; lidská inteligence může být jen podmnožinou. Existují také různé názory na to, k jakému účelu by AGI mohla sloužit. V romantičtějším pohledu by strojová inteligence, které by nebránila potřeba spánku nebo neefektivita lidské komunikace, mohla pomoci vyřešit složité problémy, jako je změna klimatu, chudoba a hlad.
Ale jednoznačný konsensus v této oblasti je, že takové pokročilé schopnosti by zabraly desetiletí, dokonce staletí – pokud je skutečně možné je vůbec vyvinout. Mnozí se také obávají, že příliš horlivé sledování tohoto cíle by se mohlo vymstít. V 70. letech a znovu koncem 80. a začátkem 90. let byl obor příliš slibný a nedostatečný. Financování přes noc vyschlo a zanechalo hluboké jizvy v celé generaci výzkumníků. Toto pole se zdálo jako zapadákova, říká Peter Eckersley, donedávna ředitel výzkumu průmyslové skupiny Partnership on AI, jejímž členem je OpenAI.
Konferenční místnost v prvním patře s názvem Infinite Jest. Christie Hemm Klok
V této souvislosti OpenAI vstoupila do světa 11. prosince 2015 s velkým rozruchem. Nebyla první, kdo otevřeně prohlásil, že sleduje AGI; DeepMind tak učinil o pět let dříve a v roce 2014 byl koupen společností Google. OpenAI se však zdálo jiné. Jednak byla cena nálepky šokující: podnik by začal s 1 miliardou dolarů od soukromých investorů, včetně Muska, Altmana a spoluzakladatele PayPalu Petera Thiela.
Seznam hvězdných investorů rozvířil mediální šílenství, stejně jako působivý seznam prvních zaměstnanců: Greg Brockman, který řídil technologii pro platební společnost Stripe, bude technologickým ředitelem; Ředitelem výzkumu by byl Ilya Sutskever, který studoval u průkopníka umělé inteligence Geoffreyho Hintona; a sedm výzkumníků, čerstvě vystudovaných na špičkových univerzitách nebo vybraných z jiných společností, by tvořilo základní technický tým. (Loni v únoru, Musk oznámil že se s firmou rozcházel kvůli neshodám o jejím směřování. O měsíc později, Altmane sestoupil jako prezident startupového akcelerátoru Y Combinator, aby se stal generálním ředitelem OpenAI.)
Ale více než cokoli jiného, neziskový status OpenAI učinil prohlášení. Bude důležité mít přední výzkumnou instituci, která dokáže upřednostnit dobrý výsledek před svým vlastním zájmem, řekl oznámení . Výzkumníci budou důrazně vyzýváni, aby publikovali svou práci, ať už jako články, příspěvky na blogu nebo kód, a naše patenty (pokud existují) budou sdíleny se světem. Přestože kritika nebyla nikdy explicitní, důsledek byl jasný: jiné laboratoře, jako je DeepMind, nemohly sloužit lidstvu, protože byly omezeny komerčními zájmy. Zatímco oni byli zavření, OpenAI by byla otevřeno .
Ve výzkumném prostředí, které se stále více privatizovalo a zaměřovalo se na krátkodobé finanční zisky, OpenAI nabízela nový způsob, jak financovat pokrok v těch největších problémech. Byl to maják naděje, říká Chip Huyen, odborník na strojové učení, který pozorně sledoval cestu laboratoře.
Na křižovatce ulic 18th a Folsom Street v San Franciscu vypadá kancelář OpenAI jako tajemné skladiště. Historická budova má fádní šedé obložení a tónovaná okna, přičemž většina stínidel je stažena. Písmena PIONEER BUILDING – pozůstatky svého bývalého vlastníka, továrny Pioneer Truck Factory – se za rohem ovíjejí vybledlou červenou barvou.
Uvnitř je prostor světlý a vzdušný. V prvním patře je několik společných prostor a dvě konferenční místnosti. Jedna, zdravá velikost pro větší setkání, se nazývá Vesmírná odysea; druhá, spíše oslavovaná telefonní budka, se jmenuje Infinite Jest. Toto je prostor, na který jsem během své návštěvy omezen. Mám zakázáno navštěvovat druhé a třetí patro, kde jsou všechny stoly, několik robotů a v podstatě všechno zajímavé. Když je čas na jejich rozhovory, lidé za mnou přijdou. Mezi schůzkami na mě zaměstnanec trénuje bdělé oko.
Pioneer Building. wikimedia commons / tfinc
Toho krásného dne s modrou oblohou, kdy přijíždím na setkání s Brockmanem, vypadá nervózně a ostražitě. Ještě nikdy jsme nikomu nedali tolik přístupu, říká s váhavým úsměvem. Nosí ležérní oblečení a stejně jako mnozí v OpenAI má neforemný účes, který se zdá být odrazem efektivní mentality bez kudrlinek.
Brockman, 31, vyrostl na farmě v Severní Dakotě a prožil to, co popisuje jako soustředěné, klidné dětství. Dojil krávy, sbíral vejce a při samostatném studiu se zamiloval do matematiky. V roce 2008 vstoupil na Harvard s úmyslem studovat dvojobor v matematice a informatice, ale rychle se začal neklidně vstupovat do skutečného světa. O rok později odešel, místo toho vstoupil na MIT a během několika měsíců zase vypadl. Podruhé bylo jeho rozhodnutí konečné. Jakmile se přestěhoval do San Francisca, nikdy se neohlédl.
Brockman mě vezme na oběd, aby mě odvedl z kanceláře během celopodnikové schůzky. V kavárně na druhé straně ulice mluví o OpenAI s intenzitou, upřímností a úžasem, přičemž často uvádí paralely mezi jejím posláním a významnými úspěchy v historii vědy. Je snadné ocenit jeho charisma jako vůdce. Při vyprávění nezapomenutelných pasáží z knih, které četl, se zaměří na oblíbený příběh Valley, americký závod na Měsíc. (Jeden příběh, který opravdu miluji, je příběh školníka, říká s odkazem na slavný, ale pravděpodobně apokryfní příběh. Kennedy k němu jde a ptá se ho: 'Co to děláš?' a on říká: ,Ach, já pomáhá dostat člověka na Měsíc!') Je tu také transkontinentální železnice (ve skutečnosti to byl poslední megaprojekt vyrobený zcela ručně... projekt nesmírného rozsahu, který byl naprosto riskantní) a žárovka Thomase Edisona (Výbor významných odborníků řekl: Nikdy to nebude fungovat,“ ao rok později odeslal.
Greg Brockman, spoluzakladatel a CTO. Hodiny Christie Hemm
Brockman si je vědom hazardu, který OpenAI na sebe vzala – a je si vědom toho, že vyvolává cynismus a zkoumání. Ale s každým odkazem je jeho poselství jasné: Lidé mohou být skeptičtí, jak chtějí. Je to cena velké odvahy.
Ti, kteří se připojili k OpenAI v prvních dnech, si pamatují energii, vzrušení a smysl pro účel. Tým byl malý – tvořený těsnou sítí spojení – a vedení zůstalo volné a neformální. Všichni věřili v plochou strukturu, kde budou nápady a debaty vítány od kohokoli.
Musk sehrál nemalou roli při budování kolektivní mytologie. Způsob, jakým mi to představil, byl ‚Podívej, chápu to. AGI může být daleko, ale co když ne?“ vzpomíná Pieter Abbeel, profesor na UC Berkeley, který tam spolu s několika svými studenty pracoval v prvních dvou letech. „Co když je to byť jen 1% nebo 0,1% šance, že se to stane v příštích pěti až deseti letech? Neměli bychom si to velmi pečlivě rozmyslet?‘ To ve mně rezonovalo, říká.
Ale neformálnost také vedla k určité vágnosti směru. V květnu 2016 Altmana a Brockmana navštívil Dario Amodei, tehdejší výzkumník Google, který jim řekl, že nikdo nerozumí tomu, co dělají. Na účtu zveřejněném v New Yorker , nebylo jasné, že to věděl ani samotný tým. Naším cílem právě teď... je udělat to nejlepší, co lze udělat, řekl Brockman. Je to trochu nejasné.
Nicméně Amodei se k týmu připojil o několik měsíců později. Jeho sestra Daniela Amodeiová již dříve spolupracovala s Brockmanem a on už znal mnoho členů OpenAI. Po dvou letech se na Brockmanovu žádost přidala i Daniela. Představte si – začali jsme s ničím, říká Brockman. Prostě jsme měli ideál, že jsme chtěli, aby AGI šlo dobře.
Během našeho oběda Brockman recituje chartu jako Písmo, vysvětlení pro každý aspekt existence společnosti.
V březnu 2017, po 15 měsících, si vedení uvědomilo, že je čas se více zaměřit. Brockman a několik dalších klíčových členů tedy začali navrhovat interní dokument, který měl vytyčit cestu k AGI. Proces ale rychle odhalil fatální chybu. Když tým studoval trendy v oboru, uvědomil si, že zůstat neziskovou organizací je finančně neudržitelné. Výpočetní zdroje, které ostatní v oboru používali k dosažení průlomových výsledků, se zdvojnásobily každé 3,4 měsíce . Bylo jasné, že aby zůstali relevantní, říká Brockman, potřebovali by dostatek kapitálu, aby se vyrovnali nebo překonali tento exponenciální nárůst. To vyžadovalo nový organizační model, který by mohl rychle hromadit peníze – a zároveň nějakým způsobem zůstat věrný poslání.
Aniž by to veřejnost – a většina zaměstnanců tušila – s tímto vědomím vydala OpenAI jeho charta v dubnu 2018. Dokument znovu formuloval základní hodnoty laboratoře, ale jemně posunul jazyk tak, aby odrážel novou realitu. Vedle svého závazku zabránit používání AI nebo AGI, které poškozují lidstvo nebo nepřiměřeně koncentrují moc, také zdůraznil potřebu zdrojů. Očekáváme, že k naplnění našeho poslání budeme muset shromáždit značné zdroje, ale vždy budeme svědomitě jednat, abychom minimalizovali střety zájmů mezi našimi zaměstnanci a zainteresovanými stranami, které by mohly ohrozit široký přínos.
Strávili jsme dlouhou dobu interními iteracemi se zaměstnanci, abychom celou společnost zakoupili do souboru zásad, říká Brockman. Věci, které musely zůstat neměnné, i když jsme změnili naši strukturu.
Zleva doprava: Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (technický pracovník), Greg Brockman, Alec Radford (vedoucí technického jazykového týmu), Christine Payne (technický pracovník), Ilya Sutskever a Chris Berner (vedoucí infrastruktury). Christie Hemm Klok
Ke změně struktury došlo v březnu 2019. OpenAI se zbavila svého čistě neziskového statutu vytvořením omezené ziskové větve – ziskové se 100násobným limitem návratnosti investorů, i když na to dohlíží správní rada, která je součástí neziskové entity. Krátce poté oznámila miliardovou investici Microsoftu (ačkoli neodhalila, že byla rozdělena mezi hotovost a kredity pro Azure, cloudovou platformu Microsoftu).
Jak se dalo očekávat, tento krok spustil vlnu obvinění, že se OpenAI vrací ke svému poslání. V příspěvku na Hackerské zprávy Krátce po oznámení se uživatel zeptal, jak by 100násobný limit byl vůbec omezující: První investoři v Googlu získali zhruba 20násobný výnos ze svého kapitálu, napsali. Vsadíte se, že budete mít podnikovou strukturu, která vrátí řádově více než Google... ale nechcete „nepatřičně koncentrovat moc“? Jak to bude fungovat? Co je to vlastně moc, když ne koncentrace zdrojů?
Tento krok také otřásl mnoha zaměstnanci, kteří vyjadřovali podobné obavy. Aby vedení zmírnilo vnitřní nepokoje, sepsalo FAQ jako součást řady vysoce chráněných přechodových dokumentů. Mohu OpenAI věřit? jedna položená otázka. Ano, začala odpověď, po níž následoval odstavec s vysvětlením.
Charta je páteří OpenAI. Slouží jako odrazový můstek pro všechny strategie a akce laboratoře. Během našeho oběda to Brockman přednáší jako z písem, vysvětlení pro každý aspekt existence společnosti. (Mimochodem, v polovině jedné recitace objasňuje, myslím, že znám všechny tyto řádky, protože jsem nad nimi strávil spoustu času, abych je uvedl přesně na pravou míru. Není to tak, že bych to četl před schůzkou.)
Jak zajistíte, aby lidé i nadále žili smysluplné životy, když budete rozvíjet pokročilejší schopnosti? Jak jsme psali, myslíme si, že jeho dopadem by mělo být poskytnout každému ekonomickou svobodu, umožnit mu najít nové příležitosti, které si dnes nelze představit. Jak se budete strukturovat, abyste rovnoměrně distribuovali AGI? Myslím, že nástroj je nejlepší analogií pro vizi, kterou máme. Ale opět, vše podléhá chartě. Jak můžete soutěžit o dosažení AGI jako první, aniž byste ohrozili bezpečnost? Myslím si, že je zde absolutně důležitý akt vyvážení a náš nejlepší pokus je to, co je v chartě.
9. DUBNA 2018 ČTĚTE 5 MINUT OpenAI
Pro Brockmana je pevné dodržování dokumentu to, co dělá strukturu OpenAI funkční. Vnitřní sladění je považováno za prvořadé: všichni zaměstnanci na plný úvazek musí až na výjimky pracovat mimo stejnou kancelář. Pro politický tým, zejména Jacka Clarka, režiséra, to znamená život rozdělený mezi San Francisco a Washington, DC. Clarkovi to nevadí – ve skutečnosti souhlasí s mentalitou. Říká, že právě ty mezičasy, jako je oběd s kolegy, pomáhají udržet všechny na stejné stránce.
V mnoha ohledech tento přístup zjevně funguje: společnost má působivě jednotnou kulturu. Zaměstnanci pracují dlouhé hodiny a neustále mluví o své práci prostřednictvím jídla a společenských hodin; mnozí chodí na stejné večírky a hlásí se k racionální filozofii efektivní altruismus . Vytvářejí vtipy pomocí terminologie strojového učení, aby popsali své životy: Co je funkcí vašeho života? Na co optimalizujete? Vše je v podstatě funkce minmax. Abychom byli spravedliví, ostatní výzkumníci AI to také rádi dělají, ale lidé obeznámení s OpenAI souhlasí: více než jiní v oboru považují její zaměstnanci výzkum AI nikoli za práci, ale jako identitu. (V listopadu Brockman ženatý jeho roční přítelkyně Anna v kanceláři na pozadí květin uspořádaných do loga OpenAI. Sutskever jednal jako oficiant; nositelem prstenu byla robotická ruka.)
Ale někdy v polovině minulého roku se charta stala něčím víc než jen polední konverzací. Brzy po přechodu na limitovaný zisk vedení zavedlo novou strukturu odměňování částečně založenou na tom, jak každý zaměstnanec absorbuje poslání. Vedle sloupců, jako jsou technické znalosti a směr výzkumu na kartě tabulky s názvem Unified Technical Ladder, poslední sloupec nastiňuje očekávání související s kulturou pro každou úroveň. Úroveň 3: Chápete a internalizujete chartu OpenAI. Úroveň 5: Zajistíte, aby všechny projekty, na kterých vy a vaši spoluhráči pracujete, byly v souladu s chartou. Úroveň 7: Jste odpovědní za dodržování a zlepšování charty a za to, že ostatní v organizaci budou odpovídat za to, že budou dělat totéž.
Poprvé většina lidí slyšela o OpenAI 14. února 2019. Ten den se laboratoř oznámil působivý nový výzkum: model, který dokáže generovat přesvědčivé eseje a články pouhým stisknutím tlačítka. Nakrmit to větou z Pán prstenů nebo začátek (falešného) zpravodajského příběhu o krádeži Miley Cyrus v obchodě, který by chrlil odstavec po odstavci textu ve stejném duchu.
Ale mělo to také háček: model s názvem GPT-2 byl příliš nebezpečný na to, aby se dal vypustit, uvedli vědci. Pokud by se tak výkonná technologie dostala do nesprávných rukou, mohla by být snadno vyzbrojena k produkci dezinformací v obrovském měřítku.
Reakce mezi vědci byla okamžitá. Někteří říkali, že OpenAI je reklamní tahák. GPT-2 nebyl dostatečně vyspělý, aby byl hrozbou. A pokud ano, proč oznamovat jeho existenci a následně vylučovat veřejnou kontrolu? Zdálo se, že OpenAI se snaží vydělat na panice kolem AI, říká Britt Paris, odborný asistent na Rutgers University, který studuje dezinformace generované AI.
Jack Clark, ředitel politiky. Hodiny Christie Hemm
Do května OpenAI revidovala svůj postoj a oznámila plány na postupné vydání. Během následujících měsíců postupně vydával stále výkonnější verze GPT-2. Mezitím také spolupracovala s několika výzkumnými organizacemi, aby prozkoumala potenciál algoritmu ke zneužití a vyvinula protiopatření. Nakonec v listopadu vydala úplný kód poté, co zjistila, řeklo , zatím žádný pádný důkaz o zneužití.
Uprostřed pokračujících obvinění ze snahy o propagaci, OpenAI trvala na tom, že GPT-2 nebyl trik. Jednalo se spíše o pečlivě promyšlený experiment, který byl schválen po řadě interních diskusí a debat. Shodli jsme se na tom, že i kdyby to tentokrát bylo trochu přehnané, akce by vytvořila precedens pro zvládnutí nebezpečnějšího výzkumu. Kromě toho charta předpovídala, že obavy o bezpečnost a zabezpečení postupně donutí laboratoř v budoucnu omezit naše tradiční vydávání.
To byl také argument, který tým pro politiku pečlivě rozložil ve svém šestiměsíční navazující blogový příspěvek , o kterém diskutovali, když jsem seděl na schůzce. Myslím, že to je rozhodně součástí rámce úspěšného příběhu, řekl Miles Brundage, vědec zabývající se výzkumem politik, a zdůraznil něco v dokumentu Google. Náskok této sekce by měl být: Udělali jsme ambiciózní věc, nyní ji někteří lidé replikují, a zde je několik důvodů, proč to bylo přínosné.
Mediální kampaň OpenAI s GPT-2 se však také řídila dobře zavedeným vzorem, který vyvolal v širší komunitě AI pochyby. V průběhu let byla velká, křiklavá výzkumná oznámení laboratoře opakovaně obviňována, že podněcují cyklus humbuku AI. Nejednou kritici také obvinili laboratoř z toho, že vyprávěla o svých výsledcích až do té míry, že je špatně charakterizovala. Z těchto důvodů má mnoho lidí v oboru tendenci držet OpenAI na dosah ruky.
Na stěně kanceláře visí titulní obrázky výzkumných zpráv OpenAI. Christie Hemm Klok
To nezabránilo laboratoři pokračovat v nalévání zdrojů do svého veřejného obrazu. Kromě výzkumných prací publikuje své výsledky ve vysoce produkovaných firemních blogových příspěvcích, pro které dělá vše interně, od psaní přes multimediální produkci až po návrh obrázků na obálce pro každé vydání. V jednu chvíli také začala vyvíjet dokument o jednom ze svých projektů, kterým může konkurovat 90minutový film o AlphaGo společnosti DeepMind . Nakonec se úsilí obrátilo na nezávislou produkci, kterou nyní Brockman a jeho manželka Anna částečně financují. (Také jsem souhlasil s tím, že se objevím v dokumentu, abych poskytl technické vysvětlení a kontext úspěchu OpenAI. Nebyl jsem za to kompenzován.)
A jak se zpětný ráz navyšuje, probíhají interní diskuse, které to mají řešit. Zaměstnanci jsou frustrovaní neustálou kritikou zvenčí a vedení se obává, že to podkope vliv laboratoře a schopnost najímat ty nejlepší talenty. Interní dokument zdůrazňuje tento problém a informační strategii pro jeho řešení: Abychom měli vliv na politiku na vládní úrovni, musíme být považováni za nejdůvěryhodnější zdroj výzkumu ML [strojového učení] a AGI, říká linka pod politikou sekce. Široká podpora a podpora ze strany výzkumné komunity je nejen nezbytná k získání takové reputace, ale také umocní naše poselství. Další, v části Strategie, zní: „Výslovně zacházejte s komunitou ML jako se zainteresovaným subjektem v oblasti komunikace. Změňte náš tón a vnější zprávy tak, abychom si je znepřátelili pouze tehdy, když se tak záměrně rozhodneme.“
Existoval další důvod, proč GPT-2 vyvolalo tak akutní reakci. Lidé měli pocit, že OpenAI opět ustupuje od svých dřívějších slibů otevřenosti a transparentnosti. Se zprávami o ziskovém přechodu o měsíc později, zadržený výzkum vyvolal v lidech ještě větší podezření. Je možné, že technologie byla držena v tajnosti při přípravě na budoucí licencování?
Ilya Sutskever, spoluzakladatel a hlavní vědec. Christie Hemm Klok
Ale málokdo věděl, že to nebyl jediný případ, kdy se OpenAI rozhodlo skrýt svůj výzkum. Ve skutečnosti udrželo další úsilí v naprosté tajnosti.
Existují dvě převládající technické teorie o tom, co bude zapotřebí k dosažení AGI. V jednom již existují všechny potřebné techniky; jde jen o to zjistit, jak je škálovat a sestavit. V té druhé musí existovat zcela nové paradigma; hluboké učení, současná dominantní technika v AI, nebude stačit.
Většina výzkumníků spadá někam mezi tyto extrémy, ale OpenAI trvale seděla téměř výlučně na konci spektra zaměřeného na škálování a sestavování. Většina jeho průlomů byla výsledkem potopení dramaticky větších výpočetních zdrojů do technických inovací vyvinutých v jiných laboratořích.
Brockman a Sutskever popírají, že by to byla jejich jediná strategie, ale přísně střežený výzkum laboratoře naznačuje opak. Tým s názvem Foresight provádí experimenty, aby otestoval, jak daleko mohou posunout schopnosti umělé inteligence kupředu trénováním stávajících algoritmů se stále větším objemem dat a výpočetním výkonem. Pro vedení potvrdily výsledky těchto experimentů jeho instinkty, že nejlepším přístupem je komplexní, výpočetně řízená strategie laboratoře.
Zhruba šest měsíců byly tyto výsledky před veřejností skryty, protože OpenAI považuje tyto znalosti za svou primární konkurenční výhodu. Zaměstnanci a stážisté byli výslovně instruováni, aby je neprozrazovali, a ti, kteří odešli, podepsali smlouvy o mlčenlivosti. Teprve v lednu tým bez obvyklých fanfár potichu vyvěsil papír na jedné z primárních open-source databází pro výzkum AI. Lidé, kteří zažili intenzivní tajemství kolem tohoto úsilí, nevěděli, co si s touto změnou počít. Zejména, další papír s podobnými výsledky od různých výzkumníků byly zveřejněny o několik měsíců dříve.
Christie There Klok
Na začátku tato úroveň utajení nikdy nebyla záměrem, ale od té doby se stala běžnou. Postupem času se vedení vzdálilo od svého původního přesvědčení, že otevřenost je nejlepší způsob, jak vybudovat prospěšné AGI. Nyní je důležité mlčet na ty, kteří pracují s laboratoří nebo v ní. To zahrnuje nikdy nemluvit s reportéry bez výslovného souhlasu komunikačního týmu. Když jsem po prvních návštěvách kanceláře začal kontaktovat různé zaměstnance, dostal jsem e-mail od vedoucí komunikace, který mi připomněl, že všechny žádosti o pohovor musí projít přes ni. Když jsem odmítl s tím, že by to podkopalo platnost toho, co mi lidé řekli, instruovala zaměstnance, aby ji informovali o mém dosahu. Slackův vzkaz od Clarka, bývalého novináře, později pochválil lidi za to, že se drželi pevně víko, když kolem sebe čmuchal reportér.
V prohlášení, které reagovalo na toto zvýšené utajení, se mluvčí OpenAI odvolal na část své charty. Očekáváme, že obavy o bezpečnost a zabezpečení v budoucnu omezí naše tradiční publikování, uvádí tato sekce, a zároveň zvýší důležitost sdílení výzkumu v oblasti bezpečnosti, zásad a norem. Mluvčí také dodal: Kromě toho každé z našich vydání prochází procesem informačního hazardu, abychom vyhodnotili tyto kompromisy, a chceme naše výsledky zveřejňovat pomalu, abychom porozuměli potenciálním rizikům a dopadům, než se pustíme do volné přírody.
Jedním z největších tajemství je projekt, na kterém OpenAI dále pracuje. Zdroje mi to popsaly jako vyvrcholení předchozího čtyřletého výzkumu: systém umělé inteligence trénovaný na obrázcích, textech a dalších datech pomocí masivních výpočetních zdrojů. K počátečnímu úsilí byl přidělen malý tým s očekáváním, že ostatní týmy se spolu s jejich prací nakonec složí. V den, kdy to bylo oznámeno na celopodnikové schůzce, se stážisté nemohli zúčastnit. Lidé obeznámení s plánem nabízejí vysvětlení: vedení si myslí, že je to nejslibnější způsob, jak dosáhnout AGI.
Mužem, který řídí strategii OpenAI, je Dario Amodei, bývalý zaměstnanec společnosti Google, který nyní působí jako ředitel výzkumu. Když ho potkám, připadá mi jako úzkostnější verze Brockmana. Má podobnou upřímnost a citlivost, ale vzduch neklidné nervové energie. Když mluví, vypadá vzdáleně, svraštělé obočí a ruka nepřítomně tahající jeho kadeře.
Amodei rozděluje strategii laboratoře na dvě části. První část, která určuje, jak plánuje dosáhnout pokročilých schopností umělé inteligence, přirovnává k portfoliu sázek investora. Různé týmy na OpenAI uzavírají různé sázky. Jazykový tým má například své peníze na teorii postulující, že umělá inteligence může rozvinout významné porozumění světu pouhým učením jazyků. Robotický tým naproti tomu prosazuje opačnou teorii, že inteligence vyžaduje k vývoji fyzické ztělesnění.
Stejně jako v portfoliu investora nemá každá sázka stejnou váhu. Ale pro účely vědecké přísnosti by měly být všechny testovány, než budou vyřazeny. Amodei poukazuje na GPT-2 s jeho pozoruhodně realistickými automaticky generovanými texty jako příklad toho, proč je důležité zachovat otevřenou mysl. Čistý jazyk je směr, ke kterému byl obor a dokonce i někteří z nás poněkud skeptičtí, říká. Ale teď je to jako: ‚Páni, to je opravdu slibné.‘
Postupem času, jak různé sázky převyšují ostatní, přitahují intenzivnější úsilí. Poté dojde k jejich vzájemnému opylení a spojení. Cílem je mít stále méně týmů, které se nakonec zhroutí do jediného technického směru pro AGI. Toto je přesný proces, který údajně již začal nejnovější přísně tajný projekt OpenAI.
Dario Amodei, ředitel výzkumu. Hodiny Christie Hemm
Druhá část strategie, vysvětluje Amodei, se zaměřuje na to, jak zajistit, aby byly takové neustále se vyvíjející systémy umělé inteligence bezpečné. To zahrnuje ujištění, že odrážejí lidské hodnoty, dokážou vysvětlit logiku svých rozhodnutí a dokážou se učit, aniž by přitom ubližovali lidem. Týmy věnované každému z těchto bezpečnostních cílů se snaží vyvinout metody, které mohou být aplikovány napříč projekty, jak dozrávají. Techniky vyvinuté týmem pro vysvětlování mohou být například použity k odhalení logiky za konstrukcemi vět GPT-2 nebo za pohyby robota.
Amodei připouští, že tato část strategie je poněkud nahodilá, postavená méně na zavedených teoriích v této oblasti a více na vnitřnostech. V určitém okamžiku se chystáme vybudovat AGI a do té doby se chci cítit dobře z těchto systémů fungujících ve světě, říká. Cokoli, kde se momentálně necítím dobře, vytvořím a naberu tým, který se na to soustředí.
Přes veškerou publicitu a utajování se Amodei tváří upřímně, když to říká. Zdá se, že možnost neúspěchu ho znepokojuje.
Jsme v nepříjemné situaci: nevíme, jak AGI vypadá, říká. nevíme, kdy se to stane. Pak s pečlivým sebeuvědoměním dodává: Mysl každého daného člověka je omezená. Nejlepší věc, kterou jsem našel, je najmout další bezpečnostní výzkumníky, kteří mají často vize odlišné od přirozené věci, na kterou jsem mohl myslet. Chci takový druh variace a rozmanitosti, protože jen tak stihnete všechno.
Jde o to, že OpenAI má ve skutečnosti jen malou variaci a rozmanitost – fakt, který jsem si uvědomil třetí den v kanceláři. Během jediného oběda, který mi bylo dovoleno smísit se se zaměstnanci, jsem s velkým odstupem usedl k nejviditelněji rozmanitému stolu. Za méně než minutu jsem si uvědomil, že lidé, kteří tam jedí, nejsou ve skutečnosti zaměstnanci OpenAI. Neuralink, Muskův startup pracující na rozhraní počítač-mozek, sdílí stejnou budovu a jídelnu.
Daniela Amodei, vedoucí provozu lidí. Christie Hemm Klok
Podle mluvčího laboratoře je z více než 120 zaměstnanců 25 % žen nebo nebinárních zaměstnanců. Ve výkonném týmu jsou také dvě ženy a vedoucí tým tvoří 30 % žen, řekla, i když nespecifikovala, kdo byl mezi tyto týmy započítán. (Všichni čtyři manažeři C-suite, včetně Brockmana a Altmana, jsou běloši. Z více než 112 zaměstnanců, které jsem identifikoval na LinkedInu a dalších zdrojích, byl drtivý počet bílých nebo Asiatů.)
Upřímně řečeno, tento nedostatek rozmanitosti je pro AI typický. Minulý rok a zpráva z newyorského výzkumného institutu AI Now zjistili, že ženy tvoří pouze 18 % autorů na předních konferencích AI, 20 % profesur AI a 15 % a 10 % výzkumných pracovníků na Facebooku a Google. V akademickém i průmyslovém odvětví je určitě ještě potřeba udělat hodně práce, řekl mluvčí OpenAI. Rozmanitost a inkluze je něco, co bereme vážně a neustále pracujeme na zlepšení spoluprací s iniciativami jako WiML, Girl Geek a naším programem Scholars.
OpenAI se skutečně pokusila rozšířit svou zásobu talentů. V roce 2018 zahájila svůj vzdálený program Scholars pro nedostatečně zastoupené menšiny. Ale pouze dva z prvních osmi vědců se stali zaměstnanci na plný úvazek, i když uvedli pozitivní zkušenosti. Nejčastější důvod odmítnutí zůstat: požadavek žít v San Franciscu. Pro Nadju Rhodes, bývalou vědkyni, která je nyní vedoucí inženýrkou strojového učení ve společnosti se sídlem v New Yorku, bylo město příliš málo rozmanité.
Ale pokud je diverzita problémem pro průmysl AI obecně, je to něco existenciálnějšího pro společnost, jejímž posláním je šířit technologii rovnoměrně mezi všechny. Faktem je, že postrádá zastoupení ze skupin, které jsou nejvíce ohroženy vynecháním.
Ani to není vůbec jasné jak OpenAI plánuje distribuovat výhody AGI celému lidstvu, jak Brockman často říká, když cituje své poslání. Vedení o tom mluví vágně a udělalo jen málo pro doplnění specifik. (V lednu, Future of Humanity Institute na Oxfordské univerzitě vydala zprávu ve spolupráci s laboratoří navrhující rozdělovat výhody rozdělováním procenta ze zisku. Ale autoři citovali významné nevyřešené problémy týkající se... způsobu, jakým bude implementována.) To je můj největší problém s OpenAI, říká bývalý zaměstnanec, který mluvil pod podmínkou anonymity.
Christie There Klok
Používají sofistikované technické postupy, aby se pokusili odpovědět na sociální problémy pomocí AI, opakuje Britt Paris z Rutgers. Zdá se, že ve skutečnosti nemají schopnosti skutečně porozumět sociálním. Prostě chápou, že je to jakési lukrativní místo, kde se právě teď umístí.
Brockman souhlasí s tím, že k dosažení svého poslání bude OpenAI nakonec nezbytná jak technická, tak sociální odbornost. Nesouhlasí ale s tím, že sociální otázky je třeba řešit od samého začátku. Jak přesně do toho zapékáte etiku nebo tyto jiné pohledy? A kdy je přivezete a jak? Jednou ze strategií, kterou byste mohli sledovat, je pokusit se od samého začátku upéct vše, co byste mohli potřebovat, říká. já ne myslet si že tato strategie pravděpodobně uspěje.
První věc, kterou je třeba zjistit, říká, je, jak bude AGI vůbec vypadat. Teprve potom bude čas ujistit se, že rozumíme důsledkům.
Loni v létě, v týdnech po přechodu na model s omezeným ziskem a injekci 1 miliardy dolarů od Microsoftu, vedení ujistilo zaměstnance, že tyto aktualizace funkčně nezmění přístup OpenAI k výzkumu. Microsoft byl dobře v souladu s hodnotami laboratoře a jakékoli snahy o komercializaci by byly daleko; honba za zásadními otázkami by stále zůstala jádrem práce.
Na chvíli se zdálo, že tato ujištění platí a projekty pokračovaly tak, jak byly. Mnoho zaměstnanců ani nevědělo, jaké sliby, pokud vůbec nějaké, byly dány společnosti Microsoft.
V posledních měsících ale tlak komercializace zesílil a potřeba produkovat výzkum, který vydělává peníze, už mi nepřipadá jako něco v daleké budoucnosti. Když Altman sdílel svou vizi laboratoře pro rok 2020 soukromě se zaměstnanci, je jasný: OpenAI potřebuje vydělávat peníze, aby mohl provádět výzkum – ne naopak.
Vedení uvedlo, že jde o tvrdý, ale nezbytný kompromis – takový, který musel udělat kvůli nedostatku bohatých filantropických dárců. Naproti tomu nezisková organizace AI2 se sídlem v Seattlu, která ambiciózně prosazuje základní výzkum umělé inteligence, získává své prostředky ze soběstačného (alespoň v dohledné budoucnosti) fondu peněz, který po sobě zanechal zesnulý Paul Allen, miliardář nejlépe známý jako spoluzakladatel. Microsoft.
Pravdou však je, že OpenAI čelí tomuto kompromisu nejen proto, že není bohaté, ale také proto, že učinilo strategickou volbu pokusit se dosáhnout AGI dříve než kdokoli jiný. Tento tlak ji nutí činit rozhodnutí, která se zdánlivě stále více vzdalují od původního záměru. Opírá se o humbuk ve svém spěchu přilákat finance a talenty, střeží svůj výzkum v naději, že si udrží navrch, a prosazuje výpočetně náročnou strategii – ne proto, že by byla považována za jedinou cestu k AGI, ale protože se zdá být nejrychlejší. .
Přesto je OpenAI stále baštou talentů a špičkového výzkumu, plná lidí, kteří se upřímně snaží pracovat ve prospěch lidstva. Jinými slovy, stále má nejdůležitější prvky a stále je čas na to, aby se změnil.
Ke konci mého rozhovoru s Rhodesem, bývalým vzdáleným učencem, se jí ptám na jednu věc ohledně OpenAI, kterou bych v tomto profilu neměl vynechat. Myslím, že podle mého názoru existují problémy, začíná váhavě. Některé z nich možná pocházejí z prostředí, kterému čelí; některé z nich pocházejí z typu lidí, které má tendenci přitahovat, a jiné lidi, které vynechává.
Ale mám pocit, že dělají něco trochu správně, říká. Mám pocit, že se tamní lidé vážně snaží.
Aktualizace: Udělali jsme nějaké změny v tomto příběhu poté, co nás OpenAI požádala, abychom objasnili, že když Greg Brockman řekl, že si nemyslí, že by bylo možné upéct etiku v... od samého začátku při vývoji umělé inteligence to zamýšlel tak, aby to znamenalo, že etické otázky nemohou řešit od začátku, ne že by se nedaly řešit od začátku. Také, že po vypadnutí z Harvardu přestoupil rovnou na MIT, než aby čekal rok. Také, že nebyl vychován na farmě, ale 'na hobby farmě'. Brockman považuje toto rozlišení za důležité.
Kromě toho jsme objasnili, že ačkoli OpenAI skutečně „shodila svůj neziskový status“, správní rada, která je součástí neziskového subjektu, na to stále dohlíží a že OpenAI publikuje svůj výzkum ve formě firemních blogových příspěvků a nikoli v místo výzkumných prací. Opravili jsme také datum zveřejnění článku externími výzkumníky a příslušnost Petera Eckersleyho (bývalého, nikoli současného, ředitele výzkumu Partnership on AI, který nedávno opustil).