Dokážete udělat AI spravedlivější než soudce? Zahrajte si naši hru s algoritmy soudní síně

Design Selman

Jako dítě si vypěstujete smysl pro to, co znamená spravedlnost. Je to koncept, který se naučíte brzy, když se vyrovnáváte se světem kolem vás. Něco se buď zdá spravedlivé, nebo ne.

Ale stále více algoritmy začínají rozhodovat o spravedlnosti pro nás. Rozhodují o tom, kdo uvidí reklamy na bydlení, kdo bude najat nebo propuštěn a dokonce i kdo bude poslán do vězení. V důsledku toho jsou lidé, kteří je vytvářejí – softwaroví inženýři – požádáni, aby vyjádřili, co to znamená být spravedlivý v jejich kódu. To je důvod, proč se regulátoři po celém světě nyní potýkají s otázkou: Jak můžete matematicky kvantifikovat spravedlnost?

Tento příběh se pokouší nabídnout odpověď. A k tomu potřebujeme vaši pomoc. Projdeme si skutečný algoritmus, který se používá k rozhodování o tom, kdo bude poslán do vězení, a požádáme vás, abyste upravili jeho různé parametry, aby byly jeho výsledky spravedlivější. (Nebojte se – nebude to vyžadovat prohlížení kódu!)

Algoritmus, který zkoumáme je známý jako COMPAS a je to jeden z několika různých nástrojů pro hodnocení rizik používaných v trestním právním systému USA.

Na vysoké úrovni má COMPAS pomoci soudcům určit, zda by měl být obžalovaný držen ve vězení, nebo by měl být propuštěn během čekání na soud. Trénuje na historických údajích o obviněných, aby našel korelace mezi faktory, jako je něčí věk a historie, s trestním právním systémem a tím, zda byla osoba vrácena zpět. Poté použije korelace k předpovědi pravděpodobnosti, že obžalovaný bude během čekací doby na soud zatčen za nový trestný čin.1

Poznámka pod čarou

• 1. Zatčení vs. odsouzení

  Tento proces je vysoce nedokonalý. Nástroje využívají zatýkání jako zástupce zločinů, ale ve skutečnosti mezi nimi existují velké rozpory, protože policie v minulosti neúměrně zatýkala rasové menšiny a manipulovala s daty. Zatčení se navíc často provádí za technická porušení, jako je nedostavení se k soudu, spíše než za opakovanou trestnou činnost. V tomto příběhu příliš zjednodušujeme zkoumání toho, co by se stalo, kdyby zatčení odpovídalo skutečným zločinům.

  
  
  

Tato předpověď je známá jako rizikové skóre obžalovaného a je míněno jako doporučení: vysoce rizikoví obžalovaní by měli být uvězněni, aby se zabránilo potenciálnímu poškození společnosti; obžalovaní s nízkým rizikem by měli být propuštěni před jejich soudním řízením. (Ve skutečnosti, soudci ne vždy následovat tato doporučení, ale hodnocení rizik zůstává vlivné.)

Zastánci nástrojů pro hodnocení rizik tvrdí, že činí trestní právní systém spravedlivějším. Nahrazují soudcovskou intuici a zaujatost – zejména rasovou – zdánlivě objektivnějším hodnocením. Také mohou nahradit praxi skládání kauce v USA, která vyžaduje, aby obžalovaní zaplatili určitou částku za jejich propuštění. Kauce diskriminuje chudé Američany a neúměrně ovlivňuje černošské obžalované, kteří jsou v trestním právním systému příliš zastoupeni.

Poznámka pod čarou

• 2. Metodika ProPublica

  U obžalovaných, kteří byli uvězněni před soudem, se ProPublica zabývala tím, zda byli do dvou let po propuštění znovu zatčeni. Poté to použil k přiblížení toho, zda by obžalovaní byli vězněni v přípravném řízení, kdyby nebyli uvězněni.

  
  
  

Jak vyžaduje zákon, COMPAS nezahrnuje rasu do výpočtu svých rizikových skóre. V roce 2016 však a Vyšetřování ProPublica tvrdil, že nástroj byl ještě pořád zaujatý proti černochům. Společnost ProPublica zjistila, že mezi obžalovanými, kteří nebyli nikdy vráceni do vazby, byli černí obžalovaní dvakrát častěji než bílí, že byli podle COMPAS označeni za vysoce rizikové.2

Naším úkolem je tedy nyní pokusit se udělat COMPAS lepší. připraveni?

Začněme s stejná datová sada které ProPublica použila ve své analýze. Zahrnuje každého obžalovaného skórovaného algoritmem COMPAS v Broward County na Floridě v letech 2013 až 2014. Celkem je to více než 7 200 profilů se jménem, ​​věkem, rasou a rizikem COMPAS každé osoby, přičemž je třeba poznamenat, zda byla osoba nakonec znovu zadržena po být propuštěn nebo uvězněn v přípravném řízení.

Abychom usnadnili vizualizaci dat, náhodně jsme vybrali 500 černobílých obžalovaných z celého souboru.

Každého obžalovaného jsme zastupovali jako tečku.

Pamatujte: všechny tyto tečky jsou osoby obviněné (ale nikoli odsouzené) ze zločinu. Někteří budou uvězněni před soudním řízením; ostatní budou okamžitě propuštěni. Někteří budou po propuštění opětovně vězněni; ostatní nebudou. Chceme porovnat dvě věci: předpovědi (které obžalovaní získali vysoké vs. nízké skóre rizika) a skutečné výsledky (které obžalovaní vlastně byl po propuštění znovu zadržen).

COMPAS boduje obžalované na stupnici od 1 do 10, kde 1 zhruba odpovídá 10% šanci na vzepření, 2 až 20% atd.

Podívejme se, jak COMPAS zabodoval u všech.

Poznámka pod čarou

• 3. Skóre společnosti COMPAS

  COMPAS byl navržen tak, aby vytvářel souhrnné předpovědi o skupinách lidí, kteří sdílejí podobné vlastnosti, spíše než předpovědi o konkrétních jednotlivcích. Metodologie za jeho skóre a doporučení, jak je používat, jsou složitější, než jsme měli prostor prezentovat; můžete si o nich přečíst na výše uvedeném odkazu.

Přestože COMPAS může nabídnout pouze statistickou pravděpodobnost, že obžalovaný bude v předsoudním stíhání vzat do vazby, soudci samozřejmě musí rozhodnout, zda je všechno nebo nic: zda obžalovaného propustí nebo zadrží. Pro účely tohoto příběhu použijeme práh vysokého rizika společnosti COMPAS, skóre 7 nebo vyšší, jako doporučení, aby byl obviněný zadržen.3

Od této chvíle jste velení vy. Vaším úkolem je přepracovat poslední fázi tohoto algoritmu nalezením spravedlivějšího místa pro nastavení prahu vysokého rizika.

Takto bude vypadat váš práh. Zkuste na něj kliknout a přetáhnout ho.

Nejprve si tedy představme nejlepší možný scénář: všichni obžalovaní, kteří váš algoritmus označí za vysoké skóre rizika, budou znovu zadrženi a všichni obžalovaní, kteří získají nízké skóre rizika, nikoli. Níže naše grafika ukazuje, jak by to mohlo vypadat. Vyplněné kruhy jsou obžalovaní, kteří byli vráceni zpět; prázdné kruhy jsou ti, kteří nebyli.

Nyní posuňte práh, aby byl váš algoritmus co nejspravedlivější.

(Jinými slovy, pouze zatčení obžalovaní by měli být uvězněni.)

Skvělý! To bylo jednoduché. Váš práh by měl být nastaven mezi 6 a 7. Nikdo nebyl zbytečně zadržen a nikdo, kdo byl propuštěn, nebyl poté znovu zadržen.

Tento ideální scénář ale samozřejmě nikdy nenastane. Je nemožné dokonale předpovědět výsledek pro každého člověka. To znamená, že plné a prázdné tečky nelze tak úhledně oddělit.

Takže tady je, kdo bude ve skutečnosti znovu spáchán.

Nyní znovu posuňte práh, aby byl váš algoritmus co nejspravedlivější.

(Tip: chcete maximalizovat jeho přesnost.)

Všimnete si, že bez ohledu na to, kam umístíte práh, nikdy to není dokonalé: vždy uvězníme některé obžalované, kteří nebudou znovu spoutáni (prázdné tečky napravo od prahu), a propustíme některé obžalované, kteří se přemístí (plné tečky na vlevo od prahu). Toto je kompromis, se kterým se náš trestní právní systém vždy zabýval, a nejinak je tomu, když používáme algoritmus.

Aby byly tyto kompromisy jasnější, podívejme se na procento nesprávných předpovědí, které společnost COMPAS provádí každá strana prahu, místo pouhého měření celkové přesnosti. Nyní budeme moci explicitně zjistit, zda naše prahová hodnota upřednostňuje zbytečné držení lidí ve vězení nebo propuštění lidí, kteří jsou poté znovu uvězněni.4 Všimněte si, že výchozí prahová hodnota společnosti COMPAS upřednostňuje druhé.

Poznámka pod čarou

• 4. Technické definice

  Tato dvě procenta chyb jsou také známá jako míra falešně negativních výsledků (kterou jsme označili jako propuštěnou, ale znovu restituovanou) a míra falešně pozitivních výsledků (kterou jsme označili jako zbytečně uvězněnou).

Jak bychom měli tento kompromis spravedlivě vyvážit? Univerzální odpověď neexistuje, ale v 60. letech 18. století anglický soudce William Blackstone napsal: Je lepší, když deset viníků uteče, než aby trpěl jeden nevinný.

Blackstoneův poměr má v USA stále velký vliv. Pojďme to tedy využít pro inspiraci.

Posuňte práh tam, kde je procento propuštěných, ale znovu zadržených, zhruba 10krát větší než procento zbytečně uvězněných.

Již nyní vidíte dva problémy s použitím algoritmu jako COMPAS. První je, že lepší predikce může vždy pomoci snížit chybovost plošně, ale nikdy je nedokáže zcela odstranit. Bez ohledu na to, kolik dat shromažďujeme, dva lidé, kteří vypadají podle algoritmu stejně, mohou vždy skončit jinak.

Druhým problémem je, že i když se důsledně řídíte doporučeními COMPASu, někdo – člověk – musí nejprve rozhodnout, kde by měla ležet práh vysokého rizika, ať už pomocí Blackstoneova poměru nebo něčeho jiného. To závisí na všech druzích úvah – politických, ekonomických a sociálních.

Nyní se dostáváme ke třetímu problému. Zde začíná být naše zkoumání spravedlnosti zajímavé. Jak se liší míra chyb v různých skupinách? Existují určité typy lidí, u kterých je větší pravděpodobnost, že budou zbytečně zadrženi?

Podívejme se, jak naše data vypadají, když vezmeme v úvahu rasu obžalovaných.

Nyní posuňte každý práh, abyste viděli, jak odlišně ovlivňuje černé a bílé obžalované.

Rasa je příkladem chráněné třídy v USA, což znamená, že diskriminace na tomto základě je nezákonná. Mezi další chráněné třídy patří pohlaví, věk a postižení.

Nyní, když jsme oddělili černé a bílé obžalované, zjistili jsme, že i když se rasa nepoužívá k výpočtu skóre rizika COMPAS, skóre má pro obě skupiny různou chybovost. Při výchozím prahu COMPAS mezi 7 a 8 bylo zbytečně uvězněno 16 % černošských obžalovaných, kteří nebyli znovu vězněni, zatímco totéž platí pouze pro 7 % bílých obžalovaných. To vůbec nevypadá fér! To je přesně to, co ProPublica zvýrazněno ve svém vyšetřování.

Dobře, tak to napravíme.

Posuňte každý práh tak, aby byli bílí a černí obžalovaní zbytečně vězněni zhruba ve stejné míře.

(Existuje několik řešení. Vybrali jsme jedno, ale můžete zkusit najít další.)

Pokusili jsme se znovu dosáhnout Blackstoneova poměru, takže jsme dospěli k následujícímu řešení: bílí obžalovaní mají práh mezi 6 a 7, zatímco černí obžalovaní mají práh mezi 8 a 9. Nyní zhruba 9 % černobílých obžalovaných, kteří nemají Ti, kteří se nechají znovu zavřít, jsou zbytečně uvězněni, zatímco 75 % těch, kteří tak učiní, je znovu zadrženo poté, co ve vězení nestrávili žádný čas. Dobrá práce! Váš algoritmus se nyní zdá mnohem spravedlivější než COMPAS.

Ale počkat – je to tak? V procesu porovnávání chybovosti mezi rasami jsme ztratili něco důležitého: naše prahové hodnoty pro každou skupinu jsou na různých místech, takže naše skóre rizika znamená různé věci pro bílé a černé obžalované.

Bílí obžalovaní jsou uvězněni za rizikové skóre 7, ale černí obžalovaní jsou propuštěni za stejné skóre. To se opět nezdá fér. Dva lidé se stejným rizikovým skóre mají stejnou pravděpodobnost, že budou vráceni zpět, neměli by tedy dostat stejné zacházení? V USA může používání různých prahových hodnot pro různé rasy také vést ke komplikované právní úpravě problémy se 14. dodatkem klauzule o rovné ochraně ústavy.

Zkusme to tedy ještě jednou s jediným prahem sdíleným mezi oběma skupinami.

Znovu posuňte práh, aby byli bílí a černí obžalovaní zbytečně vězněni ve stejné výši.

Pokud jste frustrovaní, je to dobrý důvod. Řešení neexistuje.

Dali jsme vám dvě definice spravedlnosti: udržovat míru chyb srovnatelnou mezi skupinami a stejným způsobem zacházet s lidmi se stejným rizikovým skóre. Obě tyto definice jsou zcela obhajitelné! Ale uspokojit oba současně je nemožné.

Důvodem je, že černí a bílí obžalovaní jsou zadržováni v různé míře. Zatímco 52 % černých obžalovaných bylo v našich datech z okresu Broward zadrženo, pouze 39 % bílých obžalovaných. V mnoha jurisdikcích v USA existuje podobný rozdíl, částečně kvůli historii země, kdy policie neúměrně zaměřovala na menšiny (jak jsme již zmínili).

Předpovědi odrážejí data použitá k jejich vytvoření – ať už pomocí algoritmu či nikoli. Pokud budou černí obžalovaní zatčeni ve vyšší míře než bílí obžalovaní ve skutečném světě, budou mít také vyšší míru předpokládaného zatčení. To znamená, že budou mít v průměru také vyšší rizikové skóre a větší procento z nich bude označeno jako vysoce rizikové – správně i nesprávně . To je pravda bez ohledu na to, jaký algoritmus se používá, pokud je navržen tak, aby každé skóre rizika znamenalo stejnou věc bez ohledu na rasu.

Tento podivný konflikt definic spravedlnosti se neomezuje pouze na algoritmy hodnocení rizik v trestním právním systému. Stejné druhy paradoxů platí pro úvěrové hodnocení, pojištění a algoritmy najímání. V jakémkoli kontextu, kdy automatizovaný rozhodovací systém musí alokovat zdroje nebo tresty mezi více skupin, které mají různé výsledky, se různé definice spravedlnosti nevyhnutelně ukáží jako vzájemně se vylučující.

Neexistuje žádný algoritmus, který by to mohl opravit; toto ani není algoritmický problém, opravdu. Lidští soudci jsou v současné době dělat stejné druhy vynucených kompromisů – a dělali tak v průběhu historie.

Ale tady je jaký algoritmus má změněno. I když soudci nemusí být vždy transparentní, pokud jde o to, jak se rozhodují mezi různými pojmy spravedlnosti, lidé mohou svá rozhodnutí napadnout. Naproti tomu COMPAS, který vyrábí soukromá společnost Northpointe, je obchodním tajemstvím, které nelze veřejně přezkoumat ani vyslechnout. Obžalovaní již nemohou zpochybňovat jeho výsledky a státní orgány ztrácejí možnost kontrolovat rozhodovací proces. Už neexistuje žádná veřejná odpovědnost.

Co by tedy regulační orgány měly dělat? Navrhovaný zákon o Algorithmic Accountability Act z roku 2019 je příkladem dobrého začátku, říká Andrew Selbst, profesor práva na Kalifornské univerzitě, který se specializuje na umělou inteligenci a právo. Návrh zákona, který se snaží regulovat zaujatost v automatizovaných rozhodovacích systémech, má dva pozoruhodné rysy, které slouží jako šablona pro budoucí legislativu. Zaprvé by to vyžadovalo, aby společnosti provedly audit svých systémů strojového učení z hlediska zaujatosti a diskriminace v posouzení dopadů. Za druhé, nespecifikuje definici spravedlnosti.

S posouzením dopadů jste velmi transparentní ohledně toho, jak jako společnost přistupujete k otázce spravedlnosti, říká Selbst. To vrací veřejnou odpovědnost zpět do debaty. Protože spravedlnost znamená různé věci v různých kontextech, dodává, vyhýbání se konkrétní definici umožňuje tuto flexibilitu.

Zda by se ale algoritmy měly používat k rozhodování o spravedlnosti v první řadě, je složitá otázka. Algoritmy strojového učení jsou trénovány na datech vytvořených prostřednictvím historie vyloučení a diskriminace, píše ve své knize Ruha Benjamin, docentka na Princetonské univerzitě. Závod po technologii . Nástroje hodnocení rizik se neliší. Větší otázkou ohledně jejich použití – nebo jakýchkoliv algoritmů používaných k hodnocení lidí – je, zda snižují existující nerovnosti nebo je zhoršují.

Selbst doporučuje postupovat opatrně: Kdykoli přeměníte filozofické představy o spravedlnosti v matematické výrazy, ztratí svou nuanci, svou flexibilitu, svou tvárnost, říká. To neznamená, že některé z efektivnosti takového počínání se nakonec nevyplatí. Jen mám pochybnosti.

Slova a kód od Karen Hao a Jonathana Straye. Designové poradenství od Emily Luong a Emily Caulfield. Střih Niall Firth a Gideon Lichfield. Zvláštní poděkování Rashida Richardsonová od AI Now, Mutale Nkonde z Berkman Klein Center a William Isaac od DeepMind za jejich recenzi a konzultace.

Oprava: Předchozí verze článku odkazovala na informace o nástroji pro hodnocení rizik odlišném od COMPAS. Byl odstraněn, aby nedošlo k záměně.

skrýt