Nadcházející válka proti skrytým algoritmům, které uvězní lidi v chudobě

Daniel Zender

Miriam bylo pouhých 21 let, když potkala Nicka. Byla fotografkou, čerstvě po vysoké škole, u čekáren. Byl o 16 let starší a majitel místní firmy, který pracoval ve financích. Byl okouzlující a charismatický; vzal ji na luxusní rande a zaplatil za všechno. Rychle spadla na jeho oběžnou dráhu.

Začalo to jednou kreditní kartou. V té době to byla jediná, kterou měla. Nick by to vyčerpal obchodními nákupy v hodnotě 5 000 $ a okamžitě je splatil druhý den. Miriam, která mě požádala, abych nepoužíval jejich skutečná jména ze strachu, abych nezasahoval do jejich probíhajícího rozvodového řízení, zjistila, že to zvyšuje její kreditní skóre. Jelikož vyrůstala se svobodným otcem v domácnosti s nízkými příjmy, důvěřovala Nickovu know-how před svým vlastním. Ochotně povzbudil dynamiku a řekl jí, že nerozumí financím. Pod svým jménem mu otevřela další kreditní karty.

Problém začal za tři roky. Nick ji požádal, aby dala výpověď, aby mu pomohla s podnikáním. To udělala. Řekl jí, aby šla na střední školu a nedělala si starosti s tím, že si navýší stávající studentský dluh. To udělala. Slíbil, že se o všechno postará, a ona mu uvěřila. Brzy poté přestal vyrovnat zůstatky na její kreditní kartě. Její skóre se začalo krátit.

Přesto s ním Miriam zůstala. Vzali se. Měli tři děti. Pak jednoho dne přišla do jejich domu FBI a zatkla ho. U federálního soudu ho soudce odsoudil za téměř 250 000 dolarů z podvodu s drátem. Miriam objevila celý rozsah dluhů v řádu desítek tisíc dolarů, které nashromáždil jejím jménem. V den, kdy šel do vězení, jsem měla 250 dolarů v hotovosti, dům v exekuci, auto určené k odebrání, tři děti, říká. Za měsíc od doby, kdy jsem měla chůvu a bydlela v pěkném domě se vším, jsem se dostala do opravdu hrozné chudoby.

Miriam přežila to, co je známé jako vynucený dluh, což je forma zneužívání, které se obvykle dopouští intimní partner nebo člen rodiny. Zatímco ekonomické zneužívání je dlouhodobý problém, digitální bankovnictví usnadnilo otevírání účtů a přijímání půjček na jméno oběti, říká Carla Sanchez-Adams, právník Texas RioGrande Legal Aid. V éře automatizovaných algoritmů pro hodnocení úvěrů mohou být důsledky také mnohem ničivější.

Úvěrové skóre se používá po desetiletí k posouzení bonity spotřebitelů, ale jejich rozsah je nyní mnohem větší, když jsou poháněny algoritmy: nejen že berou v úvahu mnohem více dat, jak v objemu, tak v typu, ale stále více ovlivňují, zda si můžete koupit auto, pronajmout si byt nebo získat práci na plný úvazek. Jejich komplexní vliv znamená, že pokud je vaše skóre zničeno, může být téměř nemožné ho obnovit. Horší je, že algoritmy jsou ve vlastnictví soukromých společností, které neprozrazují, jak ke svým rozhodnutím došli. Oběti mohou být posílány v sestupné spirále, která někdy končí bezdomovectvím nebo návratem ke svému násilníkovi.

Algoritmy hodnocení kreditů nejsou jediné, které ovlivňují ekonomickou pohodu lidí a přístup k základním službám. Algoritmy nyní rozhodují o tom, které děti vstoupí do pěstounské péče, kteří pacienti dostanou lékařskou péči, které rodiny získají přístup ke stabilnímu bydlení. Ti z nás, kteří mají prostředky, mohou projít svými životy, aniž by si toho byli vědomi. Ale pro jednotlivce s nízkými příjmy vytvořil rychlý růst a přijetí automatizovaných rozhodovacích systémů skrytou síť vzájemně propojených pastí.

Naštěstí se kolem tohoto problému začíná organizovat rostoucí skupina civilních právníků. Vypůjčili si příručku ze světa kriminální obrany proti algoritmům hodnocení rizik a snaží se vzdělávat se v těchto systémech, budovat komunitu a vyvíjet strategie pro soudní spory. V podstatě každý občanský právník se těmito věcmi začíná zabývat, protože všichni naši klienti jsou nějakým způsobem dotčeni těmito systémy, říká Michele Gilman, profesor klinického práva na University of Baltimore. Musíme se probudit, trénovat. Pokud chceme být opravdu dobrými holistickými právníky, musíme si toho být vědomi.

Budu křížově zkoumat algoritmus?

Gilman vykonává advokacii v Baltimoru 20 let. Ve své práci civilní právničky a právničky v oblasti chudoby se její případy vždy shodovaly se stejnými věcmi: zastupovala lidi, kteří ztratili přístup k základním potřebám, jako je bydlení, jídlo, vzdělání, práce nebo zdravotní péče. Někdy to znamená střetnout se s vládní agenturou. Jindy je to u úvěrové agentury nebo u pronajímatele. Boj o způsobilost klienta nyní stále více zahrnuje nějaký druh algoritmu.

To se našim klientům děje plošně, říká. Jsou zapletené do tolika různých algoritmů, které jim brání v přístupu k základním službám. A klienti si toho nemusí být vědomi, protože mnoho z těchto systémů je neviditelných.

Pro jednotlivce s nízkými příjmy může jedna dočasná ekonomická nouze vést k začarovanému kruhu, který někdy končí bankrotem nebo bezdomovectvím.

JON TYSON / UNSPLASH

Nepamatuje si přesně, kdy si uvědomila, že některá rozhodnutí o způsobilosti dělají algoritmy. Ale když se tento přechod poprvé začal odehrávat, bylo to zřídkakdy zřejmé. Jednou zastupovala staršího zdravotně postiženého klienta, který byl nevysvětlitelně odříznut od své domácí zdravotní péče financované Medicaidem. Nemohli jsme zjistit proč, vzpomíná Gilman. Byla čím dál nemocnější, a normálně, když onemocníš, dostaneš více hodin, ne méně.

Až když stáli v soudní síni uprostřed jednání, svědek zastupující stát odhalil, že vláda právě přijala nový algoritmus. Svědkyně, zdravotní sestra, nedokázala nic vysvětlit. Samozřejmě, že ne – koupili to z regálu, říká Gilman. Je to zdravotní sestra, ne informatik. Nedokázala odpovědět, jaké faktory to ovlivňují. Jak se váží? Jaké jsou výsledky, které hledáte? Takže jsem tady se svým studentským právníkem, který je se mnou na mé klinice, a je to jako: ‚Ach, budu křížově zkoumat algoritmus?‘

Pro Kevina De Libana, právníka z Legal Aid of Arkansas, byla změna stejně zákeřná. V roce 2014 jeho stát také zavedl nový systém pro distribuci domácí pomoci financované Medicaidem, čímž odřízl celou řadu lidí, kteří dříve měli nárok. V té době on a jeho kolegové nedokázali identifikovat kořenový problém. Věděli jen, že je něco jinak. Mohli jsme rozpoznat, že došlo ke změně v systémech hodnocení z papírového dotazníku s 20 otázkami na elektronický dotazník s 283 otázkami, říká.

Až o dva roky později, když se chyba v algoritmu znovu dostala pod právní kontrolu, se De Liban konečně dostal k jádru problému. Uvědomil si, že sestry pacientům říkaly: No, udělal to počítač – to nejsem já. To je to, co nás upozornilo, říká. Kdybych věděl, co jsem věděl v roce 2016, pravděpodobně bych v roce 2014 odvedl lepší práci, dodává.

Jeden člověk denně prochází tolika systémy

Gilman se od té doby stal mnohem důvtipnějším. Ze svého úhlu pohledu zastupujícího klienty s řadou problémů sledovala vzestup a kolize dvou algoritmických webů. První se skládá z algoritmů pro vykazování úvěrů, jako jsou ty, které chytily Miriam, které ovlivňují přístup k soukromému zboží a službám, jako jsou auta, domy a zaměstnání. Druhý zahrnuje algoritmy přijaté vládními agenturami, které ovlivňují přístup k veřejným dávkám, jako je zdravotní péče, nezaměstnanost a služby podpory dětí.

Na straně vykazování úvěrů byl růst algoritmů řízen rozšiřováním dat, jejichž sběr a sdílení je snazší než kdy dříve. Úvěrové zprávy nejsou nové, ale v dnešní době je jejich stopa mnohem rozsáhlejší. Spotřebitelské zpravodajské agentury, včetně úvěrových kanceláří, společností prověřujících nájemce nebo služeb ověřování šeků, shromažďují tyto informace z celé řady zdrojů: veřejné záznamy, sociální média, procházení webu, bankovní činnost, používání aplikací a další. Algoritmy pak přidělují lidem skóre způsobilosti, které se výrazně promítají do prověrek provedených věřiteli, zaměstnavateli, pronajímateli a dokonce i školami.

Na druhou stranu vládní agentury jsou nuceny přijmout algoritmy, když chtějí modernizovat své systémy. Snaha o přijetí webových aplikací a digitálních nástrojů začala na počátku 21. století a pokračovala v přechodu k automatizovaným systémům řízeným více daty a AI. Pro hledání těchto změn existují dobré důvody. Během pandemie se mnoho systémů dávek v nezaměstnanosti snažilo zvládnout obrovský objem nových žádostí, což vedlo ke značným zpožděním. Modernizace těchto starších systémů slibuje rychlejší a spolehlivější výsledky.

Proces nákupu softwaru je však zřídkakdy transparentní, a proto postrádá odpovědnost. Veřejné agentury často nakupují nástroje pro automatizované rozhodování přímo od soukromých prodejců. Výsledkem je, že když se systémy pokazí, postižení jednotlivci – a jejich právníci – zůstanou ve tmě. Nikde to neinzerují, říká Julia Simon-Mishel, advokátka z Philadelphia Legal Assistance. Často to není napsáno v žádných příručkách zásad nebo příručkách zásad. jsme v nevýhodě.

Nedostatek veřejného prověřování také činí systémy náchylnějšími k chybám. Jedna z nejzávažnějších poruch se stala v Michiganu v roce 2013. Po velkém úsilí o automatizaci státního systému dávek v nezaměstnanosti algoritmus nesprávně označili přes 34 000 lidí za podvod . Způsobilo to obrovskou ztrátu výhod, říká Simon-Mishel. Docházelo k bankrotům; bohužel došlo k sebevraždám. Byl to celý nepořádek.

Gilman se obává, že dluhy a vystěhování související s koronavirem budou zakódovány do kreditních skóre, takže bude pro lidi trvale těžší získat práci, byty a půjčky.

SCOTT HEINS/GETTY IMAGES

Nízkopříjmoví jedinci nesou hlavní tíhu posunu směrem k algoritmům. Jsou to lidé nejzranitelnější vůči dočasným ekonomickým potížím, které jsou zakódovány do zpráv spotřebitelů, a ti, kteří potřebují a hledají veřejné výhody. V průběhu let Gilman viděl stále více případů, kdy klienti riskovali vstup do začarovaného kruhu. Jeden člověk denně prochází tolika systémy, říká. Myslím, že to děláme všichni. Důsledky toho jsou ale pro chudé lidi a menšiny mnohem drsnější.

Jako příklad uvádí aktuální případ na své klinice. Člen rodiny přišel kvůli pandemii o práci a kvůli selhání automatizovaného systému mu byly odepřeny dávky v nezaměstnanosti. Rodina pak zaostávala v platbách nájemného, ​​což vedlo jejich pronajímatele k tomu, aby je zažaloval o vystěhování. Zatímco vystěhování nebude legální kvůli moratorium CDC , bude žaloba stále zaprotokolována ve veřejných záznamech. Tyto záznamy by se pak mohly použít v algoritmech prověřování nájemníků, což by mohlo rodině ztížit nalezení stabilního bydlení v budoucnu. Jejich neplacení nájmu a energií by také mohlo negativně ovlivnit jejich kreditní skóre, což má opět důsledky. Pokud se snaží zřídit službu mobilního telefonu nebo si vzít půjčku nebo koupit auto nebo požádat o práci, má to jen tyto kaskádové vlnové efekty, říká Gilman.

Každý případ se změní na případ algoritmu

V září Gilman, který je v současné době členem fakulty ve výzkumném institutu Data and Society, vydala zprávu dokumentující všechny různé algoritmy, s nimiž se právníci zabývající se chudobou mohou setkat. Volala Zákony o chudobě , má být průvodcem pro její kolegy v oboru. Rozdělení do konkrétních praktických oblastí, jako je spotřebitelské právo, rodinné právo, bydlení a veřejné výhody, vysvětluje, jak se vypořádat s problémy vyvolanými algoritmy a dalšími technologiemi založenými na datech v rámci stávajících zákonů.

Pokud je klientovi odepřen byt například kvůli špatnému kreditnímu skóre, zpráva doporučuje, aby právník nejprve zkontroloval, zda jsou údaje zadávané do bodovacího systému přesné. Podle zákona o Fair Credit Reporting Act jsou zpravodajské agentury povinny zajistit platnost svých informací, ale ne vždy se tak děje. Zpochybnění případných vadných nároků by mohlo pomoci obnovit klientovi úvěry a tím i přístup k bydlení. Zpráva však uznává, že stávající zákony mohou jít jen tak daleko. Stále existují regulační mezery, které je třeba vyplnit, říká Gilman.

Gilman doufá, že zpráva bude budíček. Mnoho jejích kolegů si stále neuvědomuje, že se něco z toho děje, a nejsou schopni klást správné otázky, aby odhalili algoritmy. Ti, kteří jsou si tohoto problému vědomi, jsou rozptýleni po USA, poznávají, navigují a bojují s těmito systémy izolovaně. Vidí příležitost je propojit a vytvořit širší komunitu lidí, kteří si mohou navzájem pomáhat. Všichni potřebujeme více školení, více znalostí – nejen v oblasti práva, ale i v těchto systémech, říká. Nakonec je to jako by se každý případ změnil v případ algoritmu.

Související příběh

Přihlášení a vyhození: Uvnitř krize virtuálního vystěhování Ameriky Tisíce nájemníků jsou vyhazovány ze svých domovů prostřednictvím telefonů a videohovorů.

Z dlouhodobého hlediska hledá inspiraci ve světě trestního práva. Trestní právníci jsou podle ní napřed v organizaci jako komunita a odvracejí se od algoritmů hodnocení rizik, které určují tresty. Chce, aby občanští právníci dělali totéž: vytvořili hnutí, které by přineslo větší veřejnou kontrolu a regulaci skryté síti algoritmů, kterým jejich klienti čelí. V některých případech by to pravděpodobně mělo být prostě vypnuto, protože neexistuje způsob, jak to udělat spravedlivým, říká.

Pokud jde o Miriam, po Nickově odsouzení odešla nadobro. Přestěhovala se se svými třemi dětmi do nového státu a spojila se s neziskovou organizací, která podporuje oběti vynuceného dluhu a domácího násilí. Prostřednictvím nich absolvovala řadu lekcí, které ji naučily hospodařit s financemi. Organizace jí pomohla propustit mnoho jejích vynucených dluhů a dozvědět se více o úvěrových algoritmech. Když si šla koupit auto, její kreditní skóre jen stěží dosáhlo minima s jejím otcem jako spolupodepisovatelem. Od té doby její pravidelné platby za auto a studentský dluh pomalu doplňovaly její kreditní skóre.

Miriam stále musí zůstat ve střehu. Nick má její číslo sociálního zabezpečení a ještě nejsou rozvedení. Neustále se obává, že by si mohl otevřít další účty, vzít si další půjčky na její jméno. Nějakou dobu denně kontrolovala svou kreditní zprávu, zda se nejedná o podvodnou činnost. I ona se ale v těchto dnech má na co těšit. Její táta, kterému je kolem 60 let, chce odejít do důchodu a nastěhovat se. Oba se nyní laserově soustředí na přípravu ke koupi domu. Jsem z toho docela psychicky. Mým cílem je do konce roku dostat to na 700, říká o svém skóre, a pak jsem definitivně připravený na nákup domů.

Nikdy jsem nebydlela v domě, který jsem vlastnila, dodává. On a já pracujeme společně, abychom si ušetřili na věčný domov.

skrýt