Uvnitř boje o znovuzískání AI z kontroly Big Tech

Na obrázku v horní řadě zleva: Raphael Gontijo Lopes, Deborah Raji, Rediet Abebe. Druhá řada: Joy Buolamwini. Třetí řada zleva: William Agnew, Timnit Gebru. Ricardo Santos

Timnit Gebru nikdy nenapadlo a vědecký článek způsobilo by jí tolik problémů.

V roce 2020 Gebru jako spoluvedoucí etického týmu Google pro umělou inteligenci oslovil Emily Benderová , profesor lingvistiky na University of Washington, a oba se rozhodli spolupracovat na výzkumu znepokojivého směru umělé inteligence. Gebru chtěl identifikovat rizika, která představují velké jazykové modely , jeden z nejúžasnějších nedávných průlomů ve výzkumu AI. Modely jsou algoritmy trénované na ohromujícím množství textu. Za správných podmínek dokážou složit něco, co vypadá jako přesvědčivé pasáže prózy.

Tento příběh byl součástí našeho vydání z července 2021

• Viz zbytek čísla
• předplatit

Po několik let se technologické společnosti předháněly ve vytváření větších verzí a jejich integraci do spotřebitelských produktů. Google, který tuto techniku ​​vynalezl, již jednu používal ke zlepšení relevance výsledků vyhledávání. OpenAI oznámilo ten největší, tzv GPT-3 , v červnu 2020 a o několik měsíců později jej licencoval výhradně společnosti Microsoft.

Gebru se obával, jak rychle byla technologie nasazována. V novinách, které uzavřela psaním s Benderem a pěti dalšími, podrobně popsala možná nebezpečí. Vytvoření modelů bylo nesmírně nákladné – jak z hlediska životního prostředí (vyžadují obrovské množství výpočetního výkonu), tak z finančního hlediska; často byli školeni o toxickém a urážlivém jazyce internetu; a stali by se dominantní ve výzkumu jazykové umělé inteligence a hledali slibné alternativy.

Stejně jako jiné existující techniky AI modely ve skutečnosti nerozumí jazyku. Ale protože je dokážou manipulovat tak, aby pro uživatele získávali textové informace nebo generovali přirozenou konverzaci, lze je zabalit do produktů a služeb, které technologickým společnostem vydělávají spoustu peněz.

Toho listopadu Gebru předložil příspěvek na konferenci. Brzy poté ji vedoucí pracovníci Googlu požádali, aby to stáhla, a když odmítla, vyhodili ji. O dva měsíce později také oni vyhodil její spoluautor Margaret Mitchell , druhý vůdce etického týmu AI.

Rozložení tohoto týmu vyvolalo jednu z největších kontroverzí ve světě AI v nedávné paměti. Obránci Googlu tvrdili, že společnost má právo dohlížet na své vlastní výzkumníky. Ale u mnoha dalších to upevnilo obavy z míry kontroly, kterou mají nyní techničtí giganti nad polem. Big Tech je nyní hlavním zaměstnavatelem a financovatelem výzkumníků AI, včetně, poněkud ironicky, mnoha z těch, kteří hodnotí její sociální dopady.

Související příběh

Četli jsme noviny, které donutily Timnita Gebru z Googlu. Zde je to, co říká.

Hvězdný výzkumník etiky společnosti upozornil na rizika velkých jazykových modelů, které jsou pro podnikání Google klíčové.

Mezi nejbohatšími a nejmocnějšími společnostmi světa, Google, Facebook, Amazon, Microsoft a Apple učinily z umělé inteligence základní součásti svého podnikání. Pokroky za poslední desetiletí, zejména v technice umělé inteligence tzv hluboké učení , umožnili jim sledovat chování uživatelů; doporučovat jim novinky, informace a produkty; a hlavně na ně cílit reklamy. Reklamní zařízení Google loni vygenerovalo více než 140 miliard dolarů. Facebook vydělal 84 miliard dolarů.

Společnosti značně investovaly do technologií, které jim přinesly tak obrovské bohatství. Mateřská společnost Google, Alphabet, získala londýnskou laboratoř AI DeepMind za 600 milionů dolarů v roce 2014 a ročně vynakládá stovky milionů na podporu svého výzkumu. Microsoft v roce 2019 podepsal s OpenAI smlouvu na 1 miliardu dolarů za práva na komercializaci svých algoritmů.

Ve stejné době se tech giganti stali velkými investory do univerzitního výzkumu umělé inteligence, což výrazně ovlivňuje jejich vědecké priority. V průběhu let stále více a více ambiciózních vědců přešlo k práci pro technologické giganty na plný úvazek nebo přijalo dvojí příslušnost. Od roku 2018 do roku 2019 mělo 58 % nejcitovanějších článků na dvou nejlepších konferencích o umělé inteligenci alespoň jednoho autora přidruženého k technologickému gigantu, ve srovnání s pouhými 11 % o deset let dříve, podle studie výzkumníků v Radikální síť AI , skupina, která se snaží zpochybnit dynamiku síly v AI.

Problém je v tom, že podniková agenda pro AI se soustředila na techniky s komerčním potenciálem a do značné míry ignorovala výzkum, který by mohl pomoci řešit problémy, jako je ekonomická nerovnost a změna klimatu. Ve skutečnosti to tyto výzvy ještě zhoršilo. Snaha o automatizaci úkolů stála pracovní místa a vedla k nárůstu únavné práce, jako je čištění dat a moderování obsahu. Tlak na vytváření stále větších modelů způsobil explozi spotřeby energie AI. Hluboké učení také vytvořilo kulturu, ve které jsou naše data neustále seškrabávána, často bez souhlasu, za účelem školení produktů, jako jsou systémy rozpoznávání obličeje. A doporučovací algoritmy prohloubily politickou polarizaci, zatímco velké jazykové modely nedokázaly vyčistit dezinformace.

Právě tuto situaci chce Gebru a rostoucí hnutí podobně smýšlejících učenců změnit. Během posledních pěti let se snažili posunout priority oboru od pouhého obohacování technologických společností tím, že rozšířili, kdo se může podílet na vývoji technologie. Jejich cílem není pouze zmírnit škody způsobené stávajícími systémy, ale vytvořit novou, spravedlivější a demokratičtější AI.

Zdravím vás z Timnitu

V prosinci 2015 se Gebru posadil a napsal otevřený dopis. V polovině svého doktorského studia na Stanfordu se zúčastnila konference Neural Information Processing Systems, což je největší každoroční výzkumné setkání AI. Z více než 3 700 tamních badatelů napočítal Gebru jen hrstku černochů.

Kdysi malá schůzka o specializovaném akademickém předmětu, NeurIPS (jak je nyní známo) se rychle stala největší každoroční bonanzou práce AI. Nejbohatší společnosti světa přicházely předvádět ukázky, pořádat extravagantní večírky a vypisovat tučné šeky pro nejvzácnější lidi v Silicon Valley: zručné výzkumníky AI.

Ten rok přijel Elon Musk oznámit neziskový podnik OpenAI . On, tehdejší prezident Y Combinator Sam Altman a spoluzakladatel PayPalu Peter Thiel vložili 1 miliardu dolarů na vyřešení toho, co považovali za existenční problém: vyhlídku, že by superinteligence mohla jednoho dne ovládnout svět. Jejich řešení: vybudovat ještě lepší superinteligenci. Ze 14 poradců nebo členů technického týmu, které pomazal, bylo 11 bílých mužů.

RICARDO SANTOS | SLUŠNÉ FOTOGRAFIE

Zatímco byl Musk levován, Gebru se potýkal s ponižováním a obtěžováním. Na konferenčním večírku ji kroužila skupina opilých chlapů v tričkách Google Research a vystavovala ji nechtěnému objetí, polibku na tvář a fotce.

Gebru napsala ostrou kritiku toho, co pozorovala: podívanou, kultovní uctívání celebrit AI a především ohromující homogenitu. Napsala, že klubová kultura tohoto chlapce už vytlačila talentované ženy z pole. To také vedlo celou komunitu k nebezpečně úzkému pojetí umělé inteligence a jejího dopadu na svět.

Google již nasadil algoritmus počítačového vidění, který klasifikoval černochy jako gorily, poznamenala. A zvyšující se sofistikovanost bezpilotních dronů přivedla americkou armádu na cestu ke smrtícím autonomním zbraním. Ale o těchto problémech nebyla žádná zmínka v Muskově velkém plánu zastavit AI v převzetí světa v nějakém teoretickém scénáři budoucnosti. Nemusíme se promítat do budoucnosti, abychom viděli potenciální nepříznivé účinky AI, napsal Gebru. Už se to děje.

Gebru svou úvahu nikdy nezveřejnila. Ale uvědomila si, že je potřeba něco změnit. 28. ledna 2016 poslala e-mail s předmětem Hello from Timnit pěti dalším černošským výzkumníkům AI. Vždy jsem byla smutná z nedostatku barev v AI, napsala. Ale teď jsem vás viděl 5 :) a říkal jsem si, že by bylo super, kdybychom založili černou v AI skupině nebo se o sobě alespoň věděli.

E-mail vyvolal diskusi. Co to bylo na tom, že jsem Black, co ovlivnilo jejich výzkum? Pro Gebru byla její práce do značné míry produktem její identity; pro ostatní to tak nebylo. Ale po setkání se shodli: Pokud měla AI hrát větší roli ve společnosti, potřebovali více černošských výzkumníků. Jinak by tento obor produkoval slabší vědu – a jeho nepříznivé důsledky by se mohly mnohem zhoršit.

Agenda řízená ziskem

Tak jako Černá v AI se teprve začínala slučovat, AI narážela na svůj komerční krok. Ten rok, 2016, tech giganti utratili odhadem 20 až 30 miliard dolarů na vývoj technologie, podle McKinsey Global Institute.

Pole zahřáté firemními investicemi se pokřivilo. Tisíce dalších výzkumníků začalo studovat AI, ale většinou chtěli pracovat na algoritmech hlubokého učení, jako jsou ty, které stojí za velkými jazykovými modely. Jako mladý doktorand, který chce získat práci v technologické společnosti, si uvědomujete, že technologické společnosti jsou především o hlubokém učení, říká Suresh Venkatasubramanian, profesor informatiky, který nyní působí v Úřadu pro vědeckou a technologickou politiku Bílého domu. Takže přesunete veškerý svůj výzkum do hlubokého učení. Pak se další doktorand, který přijde, rozhlédne kolem sebe a řekne: ‚Všichni se hlouběji učí. Asi bych to měl udělat taky.‘

Hluboké učení však není jedinou technikou v této oblasti. Před jeho boomem existoval jiný přístup AI známý jako symbolické uvažování. Zatímco hluboké učení využívá obrovské množství dat k výuce algoritmů o smysluplných vztazích v informacích, symbolické uvažování se zaměřuje na explicitní kódování znalostí a logiky založené na lidské odbornosti.

Někteří vědci se nyní domnívají, že tyto techniky by měly být kombinovány. Hybridní přístup by zefektivnil AI při využívání dat a energie a dal by jí znalosti a schopnosti uvažování odborníka a také schopnost aktualizovat se novými informacemi. Společnosti však mají malou motivaci zkoumat alternativní přístupy, když nejjistějším způsobem, jak maximalizovat své zisky, je stavět stále větší modely.

Gebru a Bender ve svém článku naráželi na základní cenu této tendence setrvávat u hlubokého učení: pokročilejší systémy umělé inteligence, které potřebujeme, se nevyvíjejí a podobné problémy se neustále opakují. Facebook například hodně spoléhá na velké jazykové modely pro automatizované moderování obsahu. Ale bez skutečného pochopení významu textu tyto modely často selhávají. Pravidelně odstraňují neškodné příspěvky a zároveň dávají najevo nenávistné projevy a dezinformace.

Systémy rozpoznávání obličejů založené na umělé inteligenci trpí stejným problémem. Jsou trénováni na obrovské množství dat, ale vidí pouze obrazce pixelů – nemají přehled o vizuálních konceptech, jako jsou oči, ústa a nosy. To může tyto systémy podrazit, když jsou použity na jednotlivcích s jiným odstínem pleti, než mají lidé, kterým byli ukázáni během tréninku. Amazon a další společnosti však tyto systémy prodaly orgánům činným v trestním řízení. V USA způsobili tři známé případy, kdy policie za poslední rok uvěznila nesprávnou osobu – všechny černochy.

Mnoho let v komunitě umělé inteligence se z velké části smířilo s rolí Big Tech při utváření vývoje a dopadu těchto technologií. Zatímco někteří vyjádřili nespokojenost s převzetím společnosti, mnozí další uvítali hlubokou studnu financování tohoto odvětví.

Ale jak jsou nedostatky dnešní umělé inteligence zjevnější – jak její neschopnost řešit sociální problémy, tak přibývající příklady, že je může zhoršit – víra v Big Tech slábla. Vytlačení Gebru a Mitchella Googlem dále rozdmýchalo diskusi tím, že odhalilo, jak moc budou společnosti upřednostňovat zisk před vlastní kontrolou.

Bezprostředně poté více než 2 600 zaměstnanců Google a 4 300 dalších podepsalo petici odsuzující propuštění Gebru jako bezprecedentní cenzuru výzkumu. O půl roku později výzkumné skupiny stále odmítají financování společnosti, výzkumníci se odmítají účastnit jejích konferenčních workshopů a zaměstnanci na protest odcházejí.

Na rozdíl od doby před pěti lety, kdy Gebru začal klást tyto otázky, nyní existuje dobře zavedené hnutí, které se ptá, co by umělá inteligence měla být a komu by měla sloužit. To není náhoda. Je to do značné míry produkt vlastní iniciativy Gebru, která začala jednoduchým aktem přizvání více černošských výzkumníků do terénu.

Chce to konferenci

V prosinci 2017 uspořádala nová skupina Black in AI svůj první workshop na NeurIPS. Při organizování workshopu Gebru oslovil Joy Buolamwini, výzkumnici z MIT Media Lab, která studovala komerční systémy rozpoznávání obličejů kvůli možnému zkreslení. Buolamwini začal testovat tyto systémy poté, co jeden nedokázal detekovat její vlastní tvář, pokud si nenasadila bílou masku. Své předběžné výsledky odevzdala na workshopu.

Dalším prvním účastníkem byla Deborah Raji, tehdejší vysokoškolská výzkumnice. Raji byla zděšena kulturou, kterou pozorovala na NeurIPS. Workshop se stal jejím odpočinkem. Přejít ze čtyř nebo pěti dnů na celý den lidí, kteří vypadají jako já, mluví o úspěchu v tomto prostoru – to pro mě bylo tak důležité povzbuzení, říká.

Buolamwini, Raji a Gebru by pokračovali ve spolupráci na dvojici průkopnických studií o diskriminačních systémech počítačového vidění. Buolamwini a Gebru jsou spoluautory Genderové odstíny , který ukázal, že systémy rozpoznávání obličejů prodávané společnostmi Microsoft, IBM a čínským technologickým gigantem Megvii měly pozoruhodně vysokou poruchovost u černošských žen navzdory téměř dokonalému výkonu u bílých mužů. Raji a Buolamwini poté spolupracovali na následném tzv Akční auditování , který zjistil, že totéž platí pro Amazon’s Rekognition. V roce 2020 by Amazon souhlasil s a roční moratorium na policejní prodej svého produktu, částečně kvůli této práci.

Související příběh

Začal jsem plakat: Uvnitř posledních dnů Timnita Gebru v Googlu – a co bude dál .

Na úplně prvním workshopu Black in AI však byly tyto úspěchy vzdálenými možnostmi. Nebyla žádná jiná agenda než budovat komunitu a produkovat výzkum založený na jejich bolestně chybějících perspektivách. Mnoho přihlížejících nechápalo, proč taková skupina musí existovat. Gebru si pamatuje odmítavé komentáře některých členů komunity AI. Ale pro ostatní ukázal Black in AI novou cestu vpřed.

To platilo pro Williama Agnewa a Raphaela Gontija Lopese, oba podivné muže provádějící výzkum v počítačové vědě, kteří si uvědomili, že by mohli vytvořit skupinu Queer in AI. (Další skupiny, které se formovaly, zahrnují Latinx v AI, {Dis}Ability v AI a Muslim v ML.) Zejména pro Agnewa pociťoval existenci takové komunity jako naléhavou potřebu. Bylo těžké si vůbec představit, že bych měl šťastný život, říká, když uvažuje o nedostatku queer vzorů v oboru. Je tu Turing, ale spáchal sebevraždu. Tak to je depresivní. A jeho divná část je prostě ignorována.

Ne všichni členové afinitní skupiny vidí souvislost mezi svou identitou a svým výzkumem. Přesto si každá skupina vytvořila zvláštní odborné znalosti. Black in AI se stal intelektuálním centrem pro odhalování algoritmické diskriminace, kritiku sledování a vývoj datově efektivních technik AI. Queer in AI se stal centrem pro zpochybňování způsobů, jak algoritmy narušují soukromí lidí a standardně je klasifikují do omezených kategorií.

Venkatasubramanian a Gebru také pomohli vytvořit konferenci Fairness, Accountability and Transparency (FAccT) s cílem vytvořit fórum pro výzkum sociálních a politických důsledků umělé inteligence. Nápady a návrhy dokumentů diskutované na workshopech afinitní skupiny NeurIPS se často stávají základem pro články publikované na FAccT, které pak předvádějí tento výzkum širšímu publiku.

Bylo to například poté, co Buolamwini představil na prvním workshopu Black in AI, FAccT zveřejnilo Gender Shades. Spolu s Actionable Auditing pak podpořilo několik velkých vzdělávacích a obhajovacích kampaní s cílem omezit vládní použití rozpoznávání obličeje. Když se Amazon pokusil podkopat legitimitu Buolamwiniho a Rajiho výzkumu, spojily se desítky výzkumníků umělé inteligence a organizací občanské společnosti, aby je bránily a naznačily, co by později udělali pro Gebru. Tyto snahy nakonec přispěly k moratoriu Amazonu, které v květnu společnost oznámila, že bude prodlouženo na neurčito.

Výzkum také spustil kaskádu regulace. Více než tucet měst zakázalo policii používat rozpoznávání obličeje a Massachusetts nyní vyžaduje, aby policie získala povolení soudce k jeho použití. Jak USA, tak Evropská komise navrhly další regulaci.

Nejprve jsme tam museli být, říká Gebru. A v určitém okamžiku to, co říká Black in AI, začíná být důležité. A to, co všechny tyto skupiny společně říkají, se stává důležitým. Teď nás musíte poslouchat.

Sledujte peníze

Po vypálení Gebru a Mitchella se pole znovu potýká s odvěkou otázkou: Je možné změnit status quo při práci zevnitř? Gebru stále věří, že spolupráce s technologickými giganty je nejlepší způsob, jak identifikovat problémy. Ale také se domnívá, že firemní výzkumníci potřebují silnější právní ochranu. Pokud uvidí riskantní praktiky, měli by mít možnost veřejně sdílet své postřehy, aniž by to ohrozilo jejich kariéru.

Pak je tu otázka financování. Mnoho výzkumných pracovníků chce od vlády USA více investic na podporu práce, která je kritická pro komerční vývoj umělé inteligence a podporuje veřejný blahobyt. Loni vyčlenila ubohou 1 miliardu dolarů na výzkum AI nesouvisející s obranou. Bidenova administrativa nyní žádá Kongres, aby investoval dalších 180 miliard dolarů do nově vznikajících technologií, přičemž nejvyšší prioritou je umělá inteligence.

Takové financování by lidem mohlo pomoci Abebe se vrátí , odborný asistent informatiky na Kalifornské univerzitě v Berkeley. Abebe, který také spoluzaložil Black in AI, přišel do AI s nápady, jak ji využít k rozvoji sociální spravedlnosti. Ale když začala s doktorátem na Cornell, nikdo se na takový výzkum nezaměřoval.

Na podzim roku 2016 jako doktorandka založila malou čtenářskou skupinu Cornell se spolužákem z postgraduálního studia, aby studovala témata jako nestabilita bydlení, přístup ke zdravotní péči a nerovnost. Poté se pustila do nového projektu, aby zjistila, zda její výpočetní schopnosti mohou podpořit úsilí o zmírnění chudoby.

Nakonec našla studii Poverty Tracker, podrobný soubor údajů o finančních otřesech – neočekávaných výdajích, jako jsou účty za lékařskou péči nebo parkovací lístky –, které zažilo více než 2 000 newyorských rodin. Během mnoha rozhovorů s autory studie, sociálními pracovníky a neziskovými organizacemi sloužícími marginalizovaným komunitám se dozvěděla o jejich potřebách a řekla jim, jak by mohla pomoci. Abebe poté vyvinul model, který ukázal, jak frekvence a typ šoků ovlivnily ekonomický status rodiny.

O pět let později projekt stále pokračuje. Nyní spolupracuje s neziskovými organizacemi na vylepšení svého modelu a spolupracuje s tvůrci politik prostřednictvím California Policy Lab, aby jej využila jako nástroj k prevenci bezdomovectví. Její čtenářská skupina se také od té doby rozrostla na komunitu 2000 lidí a svou zahajovací konferenci pořádá koncem tohoto roku.

Abebe to vidí jako způsob, jak motivovat více výzkumníků, aby převrátili normy AI. Zatímco tradiční počítačové vědecké konference zdůrazňují pokrok ve výpočetních technikách kvůli tomu, nová bude publikovat práce, které se nejprve snaží hluboce porozumět společenskému problému. Práce není o nic méně technická, ale vytváří základ pro vznik společensky smysluplnější umělé inteligence.

Tyto změny, za které bojujeme – nejsou jen pro marginalizované skupiny, říká. Je to vlastně pro všechny.

skrýt