Auditoři testují náborové algoritmy na zkreslení, ale neexistuje žádná snadná oprava

Audity umělé inteligence mohou přehlédnout určité typy zkreslení a nemusí nutně ověřit, že náborový nástroj vybírá nejlepší kandidáty na práci.

Simon Simard

podle

• Hilke Schellmannové archivní stránka

11. února 2021

Jsem doma a hraji videohru na počítači. Mým úkolem je napumpovat jeden balónek po druhém a vydělat co nejvíce peněz. Pokaždé, když kliknu na Pumpa, balón se roztáhne a já obdržím pět virtuálních centů. Pokud ale balónek praskne, než stisknu tlačítko Collect, všechny mé digitální výdělky zmizí.

Po naplnění 39 balónků jsem vydělal 14,40 $. Na obrazovce se objeví zpráva: Ve vysoce rizikových situacích dodržujete konzistentní přístup. Měřená vlastnost: Riziko.

Tato hra je jednou ze série vytvořené společností Pymetrics, kterou si mnoho velkých amerických firem najímá k prověřování uchazečů o zaměstnání. Pokud se přihlásíte do McDonald’s, Boston Consulting Group, Kraft Heinz nebo Colgate-Palmolive, můžete být požádáni, abyste si zahráli hry Pymetrics.

Zatímco hraji, systém umělé inteligence měří vlastnosti včetně štědrosti, férovosti a pozornosti. Pokud bych se skutečně ucházel o pozici, systém by porovnal mé skóre se skóre zaměstnanců, kteří již na dané pozici pracují. Pokud by můj osobnostní profil odrážel vlastnosti nejvíce specifické pro lidi, kteří jsou v této roli úspěšní, postoupil bych do další fáze náboru.

Stále více společností používá takovéto náborové nástroje založené na umělé inteligenci ke správě záplavy žádostí, které dostávají – zvláště nyní, kdy je v USA zhruba dvakrát více nezaměstnaných pracovníků než před pandemií. Průzkum z více než 7 300 manažerů lidských zdrojů po celém světě od společnosti Mercer, která se zabývá správou aktiv, zjistilo, že podíl těch, kteří uvedli, že jejich oddělení používá prediktivní analytiku, vyskočil z 10 % v roce 2016 na 39 % v roce 2020.

Základní produkt společnosti Stills of Pymetrics, sada 12 her založených na umělé inteligenci, o kterých společnost tvrdí, že dokáže rozpoznat sociální, kognitivní a emocionální atributy uchazeče o zaměstnání.

PYMETRIE

Stejně jako u jiných aplikací umělé inteligence však výzkumníci zjistili, že některé náborové nástroje produkují zkreslené výsledky — například neúmyslné zvýhodňování mužů nebo lidí z určitého socioekonomického prostředí. Mnozí nyní prosazují větší transparentnost a větší regulaci. Znovu a znovu se navrhuje zejména jedno řešení: audity AI.

V loňském roce společnost Pymetrics zaplatila týmu počítačových vědců z Northeastern University, aby provedli audit jejího náborového algoritmu. Bylo to jedno z prvních případů, kdy taková společnost požádala o audit vlastního nástroje třetí stranou. Generální ředitelka Frida Polli mi řekla, že si myslí, že tato zkušenost by mohla být modelem pro soulad s navrhovaným zákonem vyžadujícím takové audity pro společnosti v New Yorku, kde Pymetrics sídlí.

Pymetrics prodává svůj software jako zcela nezávislý.

To, co dělá společnost Pymetrics, která přináší do auditu neutrální třetí stranu, je opravdu dobrý směr, kterým se lze ubírat, říká Pauline Kim, profesorka práva na Washingtonské univerzitě v St. Louis, která má odborné znalosti v oblasti pracovního práva a umělého inteligence. Pokud dokážou přimět průmysl k větší transparentnosti, je to skutečně pozitivní krok vpřed.

Přes veškerou pozornost, kterou audity umělé inteligence získaly, však jejich schopnost skutečně detekovat a chránit před zaujatostí zůstává neprokázaná. Pojem audit AI může znamenat mnoho různých věcí, což ztěžuje důvěřování výsledkům auditů obecně. Rozsah nejpřísnějších auditů může být stále omezen. A dokonce i s neomezeným přístupem k vnitřnostem algoritmu může být překvapivě těžké s jistotou říci, zda zachází s žadateli spravedlivě. Audity poskytují v nejlepším případě neúplný obraz a v nejhorším případě mohou společnostem pomoci skrýt problematické nebo kontroverzní praktiky za schvalovací razítko auditora.

Uvnitř auditu AI

Mnoho druhů nástrojů pro najímání umělé inteligence se již dnes používá. Zahrnují software, který analyzuje výrazy obličeje, tón a jazyk kandidáta během videopohovorů, stejně jako programy, které skenují životopisy, předpovídají osobnost nebo zkoumají aktivitu žadatele na sociálních sítích.

Bez ohledu na to, jaký druh nástroje prodávají, dodavatelé AI najímajících obecně slibují, že tyto technologie najdou kvalifikovanější a rozmanitější kandidáty za nižší cenu a za kratší dobu než tradiční HR oddělení. Existuje však velmi málo důkazů, že ano, a v žádném případě to není to, co testoval audit AI algoritmu Pymetrics. Místo toho se zaměřilo na zjištění, zda konkrétní náborový nástroj hrubě diskriminuje kandidáty na základě rasy nebo pohlaví.

Christo Wilson ze společnosti Northeastern zkoumal algoritmy již dříve, včetně těch, které tyto algoritmy obsahují řídit nárůst cen Uberu a vyhledávač Google . Ale dokud Pymetrics nezavolal, nikdy přímo nespolupracoval se společností, kterou vyšetřoval.

Wilsonův tým, který zahrnoval jeho kolegu Alana Mislove a dva postgraduální studenty, se spoléhal na data z Pymetrics a měl přístup k datovým vědcům společnosti. Auditoři byli redakčně nezávislí, ale souhlasili, že před zveřejněním upozorní Pymetrics na všechna negativní zjištění. Společnost zaplatila Northeastern $ 104,465 prostřednictvím grant , včetně 64 813 dolarů, které šly na platy pro Wilsona a jeho tým.

Související příběh

Deepfake porno ničí životy žen. Nyní to může zákon konečně zakázat.

Po letech aktivistů bojujících za ochranu obětí sexuálního násilí založeného na obrázcích, deepfakes konečně nutí zákonodárce, aby věnovali pozornost.

Základním produktem Pymetrics je sada 12 her, na kterých jsou většinou založeny kognitivní vědecké experimenty . Hry nejsou určeny k tomu, aby se vyhrávaly nebo prohrávaly; jsou navrženy tak, aby rozeznaly kognitivní, sociální a emocionální vlastnosti žadatele, včetně tolerance rizika a schopnosti učit se. Pymetrics prodává svůj software jako zcela bez předsudků . Pymetrics a Wilson se rozhodli, že se auditoři zaměří úzce na jednu konkrétní otázku: Jsou modely společnosti spravedlivé?

Definici spravedlnosti založili na tom, co je hovorově známé jako pravidlo čtyř pětin, které se ve Spojených státech stalo neformálním náborovým standardem. Zveřejněna komise pro rovné příležitosti v zaměstnání (EEOC). pokyny v roce 1978 uvádějící, že náborové postupy by měly vybrat zhruba stejný podíl mužů a žen a lidí z různých rasových skupin. Podle pravidla čtyř pětin, vysvětluje Kim, pokud muži přecházeli 100 % času na další krok v procesu náboru, ženy musí absolvovat alespoň 80 % času.

Pokud náborové nástroje společnosti porušují pravidlo čtyř pětin, EEOC by se mohla blíže podívat na její praktiky. Pro zaměstnavatele to není špatná kontrola, říká Kim. Pokud zaměstnavatelé zajistí, aby tyto nástroje nebyly hrubě diskriminační, se vší pravděpodobností na to federální regulační orgány neupozorní.

Aby zjistil, zda software Pymetrics tuto laťku vyčistil, musel se tým Northeastern nejprve pokusit pochopit, jak tento nástroj funguje.

Když se nový klient zaregistruje do Pymetrics, musí vybrat alespoň 50 zaměstnanců, kteří byli úspěšní v roli, kterou chce obsadit. Tito zaměstnanci hrají hry Pymetrics, aby generovali tréninková data. Dále systém Pymetrics porovnává data od těchto 50 zaměstnanců s herními daty od více než 10 000 lidí náhodně vybraných z více než dvou milionů. Systém poté vytvoří model, který identifikuje a seřadí dovednosti, které jsou nejvíce specifické pro úspěšné zaměstnance klienta.

Pro kontrolu zkreslení používá Pymetrics tento model proti jinému souboru dat asi 12 000 lidí (náhodně vybraných z více než 500 000), kteří nejen hráli hry, ale také zveřejnili své demografické údaje v průzkumu. Cílem je určit, zda by model prošel testem čtyř pětin, pokud by hodnotil těchto 12 000 lidí.

Pokud systém detekuje nějaké zkreslení, sestaví a otestuje více modelů, dokud nenajde ten, který předpovídá úspěch a produkuje zhruba stejnou míru úspěšnosti pro muže a ženy a pro příslušníky všech rasových skupin. Teoreticky tedy, i když většina úspěšných zaměstnanců klienta jsou běloši, Pymetrics může opravit zaujatost porovnáním herních dat od těchto mužů s daty od žen a lidí z jiných rasových skupin. To, co hledá, jsou datové body předpovídající vlastnosti, které nekorelují s rasou nebo pohlavím, ale odlišují úspěšné zaměstnance.

Christo Wilson z Northeastern University

ŠIMON SIMARD

Wilson a jeho tým auditorů chtěli zjistit, zda Pymetricsův anti-biasový mechanismus ve skutečnosti zabraňuje zaujatosti a zda jej lze oklamat. K tomu se v podstatě pokusili ohrát systém tak, že například mnohokrát duplikovali herní data od stejného bílého muže a pokusili se je použít k sestavení modelu. Výsledek byl vždy stejný: způsob, jakým je jejich kód uspořádán a jak datoví vědci tento nástroj používají, neexistoval žádný zřejmý způsob, jak je v podstatě oklamat, aby vytvořili něco, co bylo zaujaté, a vyjasnili to, říká Wilson.

Loni na podzim se auditoři podělili o svá zjištění se společností: Systém Pymetrics splňuje pravidlo čtyř pětin. Severovýchodní tým nedávno zveřejnil studie algoritmu online a předloží zprávu o práci v březnu na konferenci FAccT o odpovědnosti za algoritmus.

Velkým přínosem je, že Pymetrics skutečně odvádí opravdu dobrou práci, říká Wilson.

Nedokonalé řešení

Ale ačkoli software společnosti Pymetrics splňuje pravidlo čtyř pětin, audit neprokázal, že tento nástroj je prostý jakékoli zaujatosti, ani že ve skutečnosti vybírá nejkvalifikovanější kandidáty na jakoukoli práci.

Efektivně se zdálo, jako by otázka, která byla položena, byla spíše „Dělají Pymetrics to, co říkají, že dělají?“, než „Dělají správnou nebo správnou věc?“ říká Manish Raghavan, doktorand počítačových věd na Cornellově univerzitě, který rozsáhle publikoval o umělé inteligenci a náboru.

Efektivně to vypadalo, jako by byla položená otázka spíše „Dělají Pymetrics to, co říkají, že dělají?“, než „Dělají správnou nebo správnou věc?“

Například pravidlo čtyř pětin pouze vyžaduje, aby lidé z různých pohlaví a rasových skupin prošli do dalšího kola náborového procesu za zhruba stejné sazby. Nástroj pro najímání umělé inteligence by tento požadavek mohl splnit, a přesto by byl velmi nekonzistentní při předpovídání toho, jak dobře lidé z různých skupin skutečně uspějí v práci, jakmile jsou přijati. A pokud například nástroj předpovídá úspěch přesněji u mužů než u žen, znamenalo by to, že ve skutečnosti neidentifikuje nejlépe kvalifikované ženy, takže najaté ženy nemusí být v práci tak úspěšné, říká Kim.

Dalším problémem, který neřeší ani pravidlo čtyř pětin, ani audit Pymetrics, je intersekcionalita. Pravidlo porovnává muže se ženami a jednu rasovou skupinu s druhou, aby se zjistilo, zda projdou stejným tempem, ale neporovnává, řekněme, bílé muže s Asiaty nebo černoškami. Mohli byste mít něco, co by vyhovovalo pravidlu čtyř pětin [pro] muže versus ženy, černochy versus bílé, ale mohlo by to maskovat zaujatost vůči černým ženám, říká Kim.

Pymetrics není jedinou společností, která má audit AI. HireVue, další velký dodavatel softwaru pro najímání umělé inteligence, nechala společnost s názvem O’Neil Risk Consulting and Algorithmic Auditing (ORCAA) vyhodnotit jeden ze svých algoritmů. Tuto firmu vlastní Cathy O'Neil, datová vědkyně a autorka Zbraně matematického ničení, jedna z klíčových populárních knih o zaujatosti AI, která léta obhajuje audity AI.

ORCAA a HireVue zaměřily svůj audit na jeden produkt: hodnocení náboru HireVue, které mnoho společností používá k hodnocení čerstvých absolventů vysokých škol. V tomto případě ORCAA nehodnotila technický návrh samotného nástroje. Místo toho společnost provedla rozhovory se zúčastněnými stranami (včetně uchazeče o zaměstnání, etika umělé inteligence a několika neziskových organizací) ohledně potenciálních problémů s nástroji a poskytla HireVue doporučení, jak je zlepšit. Závěrečná zpráva je zveřejněna na webových stránkách HireVue, ale lze ji číst pouze po podepsání smlouvy o mlčenlivosti.

Alex Engler, kolega z Brookings Institution, který studoval náborové nástroje AI a který zná oba audity, věří, že Pymetrics je ten lepší: Je velký rozdíl v hloubce analýzy, která byla povolena, říká. Ani jeden z auditů se ale znovu nezabýval tím, zda produkty skutečně pomáhají společnostem lépe si vybírat zaměstnance. A obě byly financovány auditovanými společnostmi, což trochu vytváří riziko, že auditor bude ovlivněn tím, že se jedná o klienta, říká Kim.

Z těchto důvodů kritici říkají, že dobrovolné audity nestačí. Datoví vědci a odborníci na odpovědnost nyní prosazují širší regulaci náborových nástrojů umělé inteligence a také standardů pro jejich audit.

Vyplnění mezer

Některá z těchto opatření se začínají objevovat v USA. V roce 2019 představili senátoři Cory Booker a Ron Wyden a zástupkyně Yvette Clarke Algorithmic Accountability Act aby byly audity zkreslení povinné pro všechny velké společnosti používající AI, ačkoli návrh zákona nebyl ratifikován.

Mezitím dochází k určitému pohybu na státní úrovni. The AI Video Interview Act v Illinois, který vstoupil v platnost v lednu 2020, vyžaduje, aby společnosti informovaly kandidáty, když používají AI ve video pohovorech. Města také podnikají kroky – v Los Angeles navrhl člen městské rady Joe Buscaino spravedlivý náborový návrh pro automatizované systémy v listopadu.

The Účet v New Yorku zejména by mohl sloužit jako vzor pro města a státy po celé zemi. Udělalo by to povinné každoroční audity pro prodejce automatizovaných náborových nástrojů. Vyžadovalo by to také společnosti, které používají nástroje k tomu, aby žadatelům sdělily, jaké vlastnosti jejich systém použil k rozhodnutí.

Ale otázka, jak by ty roční audity vlastně vypadaly, zůstává otevřená. Pro mnoho odborníků by audit v souladu s tím, co provedl Pymetrics, nešel příliš daleko při určování, zda tyto systémy diskriminují, protože tento audit nekontroloval intersekcionálnost ani nehodnotil schopnost nástroje přesně měřit vlastnosti, které údajně měří. lidé různých ras a pohlaví.

A mnoho kritiků by si přálo, aby audity prováděla vláda namísto soukromých společností, aby se předešlo střetu zájmů. Mělo by existovat preventivní nařízení, takže předtím, než použijete kterýkoli z těchto systémů, by jej Komise pro rovné příležitosti pracovních příležitostí měla přezkoumat a poté jej licencovat, říká Frank Pasquale, profesor na právnické fakultě v Brooklynu a odborník na algoritmickou odpovědnost. Má na mysli proces předběžného schvalování pro algoritmické náborové nástroje podobné těm, které Food and Drug Administration používá s drogami.

EEOC dosud ani nevydal jasné pokyny týkající se náborových algoritmů, které se již používají. Ale věci se mohou brzy začít měnit. V prosinci, 10 senátorů poslala EEOC dopis s dotazem, zda má pravomoc začít hlídat AI náborové systémy, aby se zabránilo diskriminaci lidí jiné barvy pleti, kteří již byli neúměrně postiženi ztrátou zaměstnání během pandemie.