Pandemie testuje limity rozpoznávání obličeje

paní Tech | Pexels

Na první pohled JB, umělec sídlící v Los Angeles, možná nevypadá moc jako obrázek na jejich řidičském průkazu. Jednak ta průkazová fotografie je z doby před pár lety. Vlasy, které byly kdysi dlouhé a tmavé, jsou nyní rozcuchané a odbarvené. A je tu skutečnost, že JB je transgender a užívá testosteron přes dva roky, což vedlo ke změně rysů obličeje, tlustšímu obočí a akné, které tam dříve nebylo. (Požádali, aby byli identifikováni pouze svými prvními iniciálami kvůli obavám o soukromí.)

JB přišla o práci na částečný úvazek v maloobchodě, když loni v březnu udeřily blokády, a stejně jako miliony dalších Američanů se pokusila požádat o podporu v nezaměstnanosti – aniž by tušila, že jejich měnící se vzhled bude stát v cestě. Měsíce poté, co elektronicky odeslali papíry a několikrát zavolali na horkou linku, která nikam nevedla, byl JB konečně vyzván, aby použil kalifornský systém rozpoznávání obličejů k ověření své identity. Ale ani po několika pokusech se systému nepodařilo porovnat JBovu tvář a ID fotografii, což jim vyloučilo z výhod, na které se kvalifikovali. Nakonec se JB přestal snažit: proces byl příliš frustrující.

Související příběh

Jak se tyto americké školy znovu otevřely, aniž by vyvolaly propuknutí covidu

Školy, které v loňském roce udržely počet případů na nízké úrovni, navzdory pandemickému chaosu, sdílely několik společných strategií. Zde je to, co nás mohou naučit, jak to dělat správně.

Vymáhání práva a soukromé podniky používají rozpoznávání obličejů už roky, ale používání této technologie při distribuci vládní pomoci se během pandemie rychle rozšířilo. státy a federální agentury přešli na rozpoznávání tváří jako bezkontaktní, automatizovaný způsob ověřování totožnosti lidí žádajících o podporu v nezaměstnanosti a další veřejné dávky.

Odborníci a aktivisté se obávají, že selhání této technologie by mohlo lidem zabránit v získání výhod, které zoufale potřebují – a že by mohla být ještě nebezpečnější, pokud by fungovala tak, jak byla navržena.

Používat svou tvář pro všednost

Pandemie urychlila používání mnoha nástrojů pro sběr biometrických údajů – kontroly teploty u dveří, termokamery ve školách skenování obličeje na letištích. Pokud jde o dávky, jako je nezaměstnanost, vlády států se obracejí zejména na rozpoznávání obličeje, aby ověřily identitu lidí, než uvolní peníze, na které mají nárok. Druhá vlna amerických stimulačních fondů, schválená v prosinci 2020, vyžadovala, aby státy ověřovaly osoby žádající o pomoc při pandemické nezaměstnanosti – federální fond peněz.

Nyní 27 stát agentury práce (mezi nimi i Kalifornie) spolupracují se společností ID.me, která nabízí technologii rozpoznávání obličejů, říká generální ředitel Blake Hall. Poskytlo také americké ministerstvo práce miliony finančních prostředků státům zavést opatření k předcházení podvodům, která má pumpoval více dolarů do rozpoznávání obličeje. V posledních měsících došlo k zprávy po celé zemi incidentů, kdy systémy nezaměstnanosti nedokázaly rozpoznat sken obličeje uchazečů, což lidi jako JB dostalo do nejisté finanční situace. Riziko chybné identifikace není rovnoměrně rozloženo: pro rozpoznání obličeje se ukázalo být méně přesné barevní lidé než bílí lidé a muži jsou pravděpodobněji přesněji identifikováni než ženy, podle a federální studium publikováno v roce 2019. Nálezy byly dále zkoumány v a studie minulý rok.

Hall říká, že na vzorku 700 uživatelů ID.me nenalezl korelaci mezi odstínem pleti a pravděpodobností selhání při kroku shody jedna ku jedné.

Software pro rozpoznávání tváří se začal stávat běžnějším roky před pandemií a jeho potenciální nedostatky jsou dobře zdokumentovány: novináři odhalili, jak policejní oddělení v USA používají rozsáhlé databáze tváří při vyšetřování s pochybnou přesností. Společnosti zastavily nebo omezily použití technologie uprostřed důkazů, že nefunguje tak dobře na lidi s jinou barvou pleti. I tak se to dál šíří: další federální agentury plán na rozšiřování jeho použití, přičemž se také používá všude od nákupních center po koncertní sály. Macy's byla loni žaloval kvůli údajnému používání rozpoznávání obličeje u zákazníků obchodů. Ale použití technologie související s pandemií ke kontrole věcí, jako je nárok na dávky, jsou zvláště znepokojeni kritiky.

Co mě drží v noci vzhůru, je to, že s tím, jak se pandemie zrychluje, to prostě začneme vidět všude, říká Evan Greer, ředitel Fight for the Future, skupina pro digitální práva. Bude v obchodech a budete mít možnost platit obličejem. Bude normalizována ve veřejné dopravě. Bude se používat při pracovních pohovorech.

Související příběh

Jak americká pandemická reakce zvýšila nerovnost? Podívejte se na nehtové salony v New Yorku.

Zatímco mnoho bílých límečků zůstávalo doma, aby se vyhnuli covidu, zaměstnanci salonů čelili vysoké míře infekce, nemožným rozhodnutím, jak zůstat v bezpečí, a malé pomoci ze strany vlády.

Stále více se používá v tom, co je prezentováno jako zájem veřejného zdraví. Austrálie nedávno rozšířil program pomocí rozpoznávání obličeje k prosazení bezpečnostních opatření v souvislosti s covid-19. Lidé, kteří jsou v karanténě, podléhají náhodným kontrolám, při kterých jsou povinni poslat selfie, aby potvrdili, že dodržují pravidla. Podle agentury Reuters se také shromažďují údaje o poloze.

Pokud jde o nezbytnosti, jako jsou nouzové dávky na zaplacení bydlení a jídla, první prioritou by mělo být zajistit, aby každý měl přístup k pomoci, říká Greer. Prevence podvodů je na první pohled rozumným cílem, dodává, ale nejnaléhavějším cílem musí být zajistit lidem výhody, které potřebují.

Systémy musí být od začátku budovány s ohledem na lidská práva a potřeby zranitelných lidí. To nemohou být dodatečné myšlenky, říká Greer. Nemohou to být opravy chyb, když už se to pokazilo.

ID.me’s Hall říká, že služby jeho společnosti jsou výhodnější než stávající metody ověřování identity a pomohly státům omezit masivní podvody v nezaměstnanosti od zavedení kontrol ověřování obličeje. Říká, že žádosti o nezaměstnanost mají přibližně 91% skutečnou míru úspěšnosti – buď samostatně, nebo prostřednictvím videohovoru se zástupcem ID.me.

[To] byl náš cíl, říká. Pokud bychom dokázali zautomatizovat 91 % z toho, pak státy, které jsou z hlediska zdrojů právě překonané, mohou tyto zdroje použít k poskytování služeb concierge s bílými rukavicemi pro 9 %.

Když uživatelé nejsou schopni projít procesem rozpoznávání obličeje, ID.me jim pošle e-mail, aby navázali, podle Halla.

Vše o této společnosti je o pomoci lidem získat přístup k věcem, na které mají nárok, říká.

Technika v reálném světě

Měsíce, které JB přežil bez příjmu, byly těžké. Finanční starost byla dostatečná k tomu, aby způsobila stres, a další potíže, jako je rozbitý počítač, tuto úzkost umocňovaly. Dokonce ani jejich bývalý zaměstnavatel nemohl nebo nechtěl pomoci překonat byrokracii.

Je velmi izolující být jako: ‚Nikdo mi v žádné situaci nepomáhá,‘ říká JB.

Na vládní straně odborníci tvrdí, že dává smysl, že pandemie přinesla do popředí nové technologie, ale případy jako JB ukazují, že technologie sama o sobě není úplnou odpovědí. Anne L. Washingtonová, odborná asistentka datové politiky na New York University, říká, že je lákavé považovat novou vládní technologii za úspěšnou, když většinu času ve fázi výzkumu funguje, ale v reálném světě v 5 % případů selže. Výsledek přirovnává ke hře na hudebních židlích, kde v místnosti pro 100 lidí zůstane vždy pět bez místa.

Problém je v tom, že vlády dostanou nějakou technologii a ta funguje 95 % času – myslí si, že je to vyřešené, říká. Místo toho se lidský zásah stává důležitějším než kdy jindy. Washington říká: Potřebují systém, který by pravidelně zvládal těch pět lidí, kteří stojí.

Pokud je zapojena soukromá společnost, existuje další vrstva rizika. Největší problém, který vyvstává při zavádění nového druhu technologie, je, kde jsou data uchovávána, říká Washington. Bez důvěryhodný subjekt která má zákonnou povinnost chránit informace lidí, mohou citlivá data skončit v rukou jiných. Jak bychom se například cítili, kdyby federální vláda svěřila naše čísla sociálního zabezpečení soukromé společnosti, když byla vytvořena?

Problém je v tom, že vlády dostanou nějakou technologii a ta funguje 95 % času – myslí si, že je to vyřešené

Anne L. Washington, New York University

Široké a nekontrolované používání nástrojů pro rozpoznávání obličeje má také potenciál ovlivnit již tak marginalizované skupiny více než jiné. Transgender lidé, např. mít podrobné , časté problémy s nástroji, jako jsou Fotky Google, které mohou pochybovat o tom, zda fotografie před a po přechodu zobrazují stejnou osobu. Znamená to počítat se softwarem znovu a znovu.

[Existuje] nepřesnost ve schopnosti technologie odrážet šíři skutečné rozmanitosti a okrajové případy, které existují v reálném světě, říká Daly Barnett, technolog z Electronic Frontier Foundation. Nemůžeme se na ně spolehnout, že přesně klasifikují a vypočítají a odrážejí tyto krásné okrajové případy.

Horší než selhání

V rozhovorech o rozpoznávání obličejů se obvykle diskutuje o tom, jak by tato technologie mohla selhat nebo diskriminovat. Barnett však povzbuzuje lidi, aby přemýšleli nad tím, zda biometrické nástroje fungují nebo ne, nebo zda se v technologii projeví zaujatost. Potlačuje myšlenku, že je vůbec potřebujeme. Aktivisté jako Greer varují, že tyto nástroje mohou být ještě nebezpečnější, když fungují perfektně. Rozpoznávání tváří již bylo použito k identifikaci, potrestání nebo potlačení demonstrantů, ačkoli se lidé brání. V Hongkongu měli demonstranti masky a brýle skrýt svou tvář z takového policejního dohledu. V USA federální žalobci stáhli obvinění proti demonstrantovi identifikovanému pomocí rozpoznávání obličeje, který byl obviněn z napadení policistů.

Související příběh

Oficiální čísla bez práce jsou děsivá. Skutečná situace je ještě horší. Rekordní čísla nezaměstnanosti jen naznačují krizi, se kterou se potýká mnoho lidí bez práce.

Myslím, že je pochopitelné, že se zaměřujeme na tyto nedostatky a předsudky, protože tato technologie se právě používá, říká Greer. Ale když vezmete technologii… a navrstvíte ji na společnost, která je hluboce nespravedlivá, i když je technologie sama o sobě „neutrální“ nebo v ní není zapečený žádný druh zaujatosti, bude to mít efekt automatizace. a prohlubování této diskriminace.

Fight for the Future a EFF podporují zákaz vládního používání nástrojů pro rozpoznávání obličejů. A Barnett říká, že i když je tato technologie používána, vládní agentury by se neměly spoléhat na jediný systém jako strážce přístupu – zejména k tomu, aby lidem zajistily to podstatné, co potřebují k přežití.

Není daleko si představit, jak, i když jsou nyní dobře míněné, [tyto technologie] mohou být později vyzbrojeny proti lidem pro různé účely, říká.

Pro lidi na okraji společnosti však štětce s rozpoznáváním obličeje již způsobují problémy. Více než rok poté, co JB poprvé požádal o nezaměstnanost, jsou podrobnosti o náročném procesu stále vypáleny v jejich paměti. Když letos na jaře vypršela původní pohledávka, byla to úleva. Nedávno dostali novou práci a věci se konečně vrátily do starých kolejí.

Bylo to jako, že konečně dávám svůj život zpět dohromady, říkají. Jsem opravdu rád, že se s tím systémem nemusím zabývat. A opravdu doufám, že se s tím systémem už nikdy nebudu muset potýkat.

Tento příběh je součástí projektu Pandemic Technology Project podporovaného Rockefellerovou nadací.

skrýt