Dvouletý boj za to, aby Amazon přestal prodávat rozpoznávání tváří policii

paní Tech | Getty

V létě 2018 téměř 70 občanských práv a výzkumných organizací napsal dopis Jeffu ​​Bezosovi požadujícímu, aby Amazon přestal poskytovat vládám technologii rozpoznávání obličejů. V rámci zvýšeného zaměření na roli, kterou hrály technologické společnosti umožnit americké vládě sledování a deportaci imigrantů , vyzval Amazon, aby se postavil za občanská práva a občanské svobody. Jak bylo inzerováno, Rekognition je výkonný sledovací systém snadno dostupný k porušování práv a cílení na barevné komunity.

Spolu s dopisem dodal American Civil Liberties Union (ACLU) z Washingtonu více než 150 000 podpisů petice a další dopis od vlastních akcionářů společnosti vyjadřující podobné požadavky. O několik dní později zaměstnanci Amazonu zopakovali obavy interní poznámku .

Navzdory rostoucímu tlaku pokračoval Amazon v podnikání jako obvykle. Prosadila Rekognition jako nástroj pro sledování zájmových osob zdvojnásobil o poskytování dalších sledovacích technologií vládám. Například dceřiná společnost Ring, kterou společnost získala jen před několika měsíci, rychle navázala partnerství více než 1300 donucovacích orgánů používat záběry ze svých domácích bezpečnostních kamer při vyšetřování trestných činů.

Ve středu 10. června však Amazon šokoval aktivisty a výzkumníky za lidská práva, když oznámil, že uvalí roční moratorium na policejní použití Rekognition. Následoval přesun rozhodnutí IBM ukončit činnost jeho univerzální systém rozpoznávání obličejů. Další den, Microsoft to oznámil přestala by prodávat svůj systém policejním oddělením, dokud federální zákon neupraví technologii. Amazon sice ze všech tří společností udělal nejmenší ústupek, ale zároveň je největším poskytovatelem této technologie pro vymáhání práva. Toto rozhodnutí je vyvrcholením dvou let výzkumu a vnějšího tlaku s cílem prokázat technické nedostatky Rekognition a jeho potenciál ke zneužití.

Je neuvěřitelné, že Amazon skutečně reaguje na tuto současnou konverzaci o rasismu, řekla Deborah Raji, výzkumnice odpovědnosti AI, která je spoluautorem základní studie na rasové předsudky a nepřesnosti zabudované do technologie společnosti. To jen vypovídá o síle tohoto aktuálního okamžiku.

Rok je začátek, říká Kade Crockford, ředitel programu pro svobodu technologií na ACLU v Massachusetts. Je to absolutní přiznání ze strany společnosti, alespoň implicitně, že to, co jim zastánci rasové spravedlnosti dva roky říkali, je správné: technologie sledování obličeje ohrožuje černé a hnědé lidi ve Spojených státech. To je pozoruhodné přiznání.

Dva roky v přípravě

V únoru 2018 výzkumník MIT Joy Buolamwini a Timnit Gebru, tehdejší výzkumník společnosti Microsoft, publikovali průlomová studie s názvem Gender Shades o genderových a rasových předsudcích zabudovaných v komerčních systémech rozpoznávání tváří. V té době studie zahrnovala systémy prodávané společnostmi Microsoft, IBM a Megvii, jedním z největších čínských poskytovatelů rozpoznávání obličejů. Nezahrnovalo Amazon's Rekognition.

Přesto to byla první studie svého druhu a výsledky byly šokující: nejhorší systém, IBM, byl o 34,4 procentních bodů horší v klasifikaci pohlaví u žen tmavé pleti než u mužů se světlou pletí. Zjištění okamžitě odhalila tvrzení o přesnosti, která společnosti používaly k prodeji svých produktů, a vyvolaly debatu o rozpoznávání obličejů obecně.

Jak debata zuřila, brzy se ukázalo, že problém je také hlubší než zkreslená trénovací data nebo nedokonalé algoritmy. I kdyby systémy dosáhly 100% přesnosti, stále by mohly být nasazeny nebezpečným způsobem, varovalo mnoho výzkumníků a aktivistů.

Statický záběr z video básně Joy Buolamwiniové 'AI, Ain't I A Woman?' předvádí některé ze závažných chyb, kterých se Rekognition dopustila.

S DVOROU ALGORITMICKÉ JUSTICE LIGY

Existují dva způsoby, jak tato technologie může lidem ublížit, říká Raji, který spolupracoval s Buolamwini a Gebru na Gender Shades. Jedním ze způsobů je nefunkčnost: vyšší chybovost u lidí s jinou barvou pleti je vystavuje většímu riziku. Druhá situace je, když to dělá práce – kde máte dokonalý systém rozpoznávání obličejů, ale lze jej snadno použít jako zbraň proti komunitám a obtěžovat je. Je to samostatný a propojený rozhovor.

Úkolem Gender Shades bylo odhalit první situaci, říká. Tím vytvořilo otvor pro odhalení druhého.

Amazon se pokusil jejich výzkum zdiskreditovat; pokusilo se je podkopat jako černošky, které vedly tento výzkum.

Meredith Whittaker

To se stalo s IBM. Po zveřejnění Gender Shades byla IBM jednou z prvních společností, které oslovily výzkumníky, aby zjistili, jak vyřešit své problémy se zaujatostí. V lednu 2019 vydala soubor dat s názvem Rozmanitost ve tvářích , obsahující přes 1 milion anotovaných obrázků obličejů, ve snaze takové systémy vylepšit. Ale ten pohyb selhal poté, co lidé zjistili, že obrázky byly seškrábány z Flickru, což vyvolalo otázky souhlasu a soukromí. Spustilo to další sérii interních diskusí o tom, jak eticky trénovat rozpoznávání obličejů. Vedlo je to dolů králičí norou k objevování mnoha problémů, které s touto technologií existují, říká Raji.

Nakonec tedy nebylo překvapením, když společnost konečně vytáhla zástrčku. (Kritici upozornit že její systém stejně neměl na trhu moc pevné místo.) IBM si právě uvědomila, že ‚výhody‘ nejsou v žádném případě úměrné škodám, říká Raji. A v tomto konkrétním okamžiku pro ně nastal ten správný čas, aby o tom veřejně informovali.

Ale zatímco IBM reagovalo na externí zpětnou vazbu, Amazon reagoval opačně. V červnu 2018, uprostřed všech ostatních dopisů požadujících, aby společnost zastavila policejní používání Rekognition, Raji a Buolamwini rozšířil audit Gender Shades obsáhnout jeho výkon. Výsledky publikované o půl roku později v a recenzovaný papír , opět našel obrovské technické nepřesnosti. Rekognition klasifikovala pohlaví žen s tmavou pletí o 31,4 procentního bodu méně přesně než mužů se světlou pletí.

V červenci také ACLU ze severní Kalifornie provedla vlastní studii , zjistili, že systém falešně porovnal fotografie 28 členů Kongresu USA s fotografiemi. Falešnými shodami byli nepřiměřeně barevní lidé.

Místo uznání výsledků však Amazon zveřejnil dva Blog příspěvky tvrdí, že práce Rajiho a Buolamwiniho byla zavádějící. V reakci téměř 80 výzkumníků AI , včetně vítěze Turingovy ceny Yoshua Bengia, práci hájili a znovu vyzvali společnost, aby přestala prodávat rozpoznávání tváří policii.

V té době to byl takový emocionální zážitek, vzpomíná Raji. S ohledem na naše výsledky jsme udělali tolik náležité péče. A pak byla prvotní reakce tak přímo konfrontační a agresivně defenzivní.

Amazon se pokusil jejich výzkum zdiskreditovat; snažila se je podkopat jako černošky, které vedly tento výzkum, říká Meredith Whittaker, spoluzakladatelka a ředitelka institutu AI Now, který studuje sociální dopady AI. Snažilo se vyvolat příběh, že to pochopili špatně – že každý, kdo technice jasně rozumí, bude vědět, že to není problém.

Tento krok skutečně vystavil Amazon politickému nebezpečí.

Mutale Nkonde

Ve skutečnosti, protože společnost Amazon veřejně zamítla studii, začala investovat do výzkumu zákulisních oprav. Najalo si vedení pro spravedlnost, do toho investovalo výzkumný grant NSF ke zmírnění problémů a o několik měsíců později vydala novou verzi Rekognition, která přímo reaguje na obavy studie, říká Raji. Zároveň to potlačit úsilí akcionářů pozastavit prodej technologie a provést nezávislé posouzení lidských práv. To také utratil miliony lobování v Kongresu, aby se vyhnul regulaci.

Ale pak se vše změnilo. Dne 25. května 2020 policista Derek Chauvin zavraždil George Floyda, což vyvolalo historické hnutí v USA bojovat proti institucionálnímu rasismu a ukončit policejní brutalitu. V reakci na to představili demokraté ze sněmovny a senátu zákon o reformě policie který zahrnuje návrh na omezení rozpoznávání obličejů v kontextu vymáhání práva, což představuje největší federální úsilí o regulaci této technologie. Když IBM oznámila, že ukončí svůj systém rozpoznávání obličejů, poslala také dopis do Kongresu Black Caucus, naléhání na národní dialog o tom, zda a jak by měla být technologie rozpoznávání obličeje využívána domácími donucovacími orgány.

Myslím si, že rozhodnutí IBM poslat tento dopis, v době, kdy stejný zákonodárný orgán zvažuje zákon o reformě policie, skutečně posunulo krajinu, říká Mutale Nkonde, poradce pro politiku AI a kolega z Berkman Klein Center na Harvardu. I když nebyli velkým hráčem v rozpoznávání obličejů, tento krok skutečně vystavil Amazon politickému nebezpečí. Vytvořilo jasné spojení mezi technologií a probíhající národní konverzací způsobem, který bylo pro regulační orgány obtížné ignorovat.

Opatrný optimismus

Ale zatímco aktivisté a výzkumníci považují ústupek Amazonu za velké vítězství, zároveň uznávají, že válka ještě neskončila. Za prvé, oznámení Amazonu o 102 slovech bylo vágní ohledně podrobností o tom, zda jeho moratorium bude zahrnovat donucovací orgány mimo policii, jako je americké imigrační a celní vymáhání nebo ministerstvo pro vnitřní bezpečnost. (Amazon nereagoval na žádost o komentář.) Pro jiného je jednoroční expirace také varovným signálem.

Cynická část mého já říká, že Amazon počká, dokud protesty neutichnou – dokud se národní konverzace neposune k něčemu jinému –, aby se vrátila ke své předchozí pozici, říká Crockford z ACLU. Budeme bedlivě sledovat, abychom se ujistili, že těmto společnostem se tato nedávná oznámení skutečně nedaří získat dobrý tisk a zároveň budeme pracovat v zákulisí, abychom zmařili naše úsilí v zákonodárných sborech.

To je důvod, proč aktivisté a výzkumníci také věří, že regulace bude hrát kritickou roli vpřed. Poučení zde není, že by se společnosti měly samy řídit, říká Whittaker. Z toho plyne ponaučení, že potřebujeme větší tlak a že potřebujeme předpisy, které zajistí, že se nedíváme jen na jednoroční zákaz.

Cynická část mě říká, že Amazon počká, dokud protesty neutichnou... aby se vrátil do své předchozí pozice.

Kade Crockford

Kritici tvrdí, že ustanovení o rozpoznávání tváří v současném zákoně o reformě policie, který zakazuje pouze jeho použití v reálném čase v tělesných kamerách, nejsou dostatečně široká, aby vedla technologické giganty k plné odpovědnosti. Ale Nkonde je optimistická: vidí tento první soubor doporučení jako zárodek pro další regulaci, která přijde. Jakmile budou přijaty do zákona, stanou se důležitým referenčním bodem pro další návrhy zákonů, které zakazují rozpoznávání obličejů v jiných aplikacích a kontextech.

Opravdu existuje větší legislativní hnutí na federální i místní úrovni, říká. A pozornost, že Floydova smrt zazářila na rasistické policejní praktiky, urychlila její širokou podporu.

Opravdu nemělo trvat policejní vraždy George Floyda, Breonny Taylorové a příliš mnoha dalších černochů – a statisíce lidí vycházejících do ulic po celé zemi –, aby si tyto společnosti uvědomily, že požadavky od Black-a Hnědé organizace a učenci z ACLU a z mnoha dalších skupin byli morálně korektní, říká Crockford. Ale jsme tady. Lépe později než nikdy.

skrýt