211service.com
Takhle se zkreslení AI skutečně děje – a proč je tak těžké to opravit
paní Tech; Foto: PIXOLOGICSTUDIO/SCIENCE PHOTO LIBRARY
Během několika posledních měsíců jsme zdokumentovali, jak je velká většina současných aplikací umělé inteligence založena na kategorii algoritmů známých jako hluboké učení a jak algoritmy hlubokého učení nacházejí vzory v datech. Zabývali jsme se také tím, jak tyto technologie ovlivňují životy lidí: jak mohou udržovat nespravedlnost při najímání, maloobchodu a zabezpečení a mohou se tak již dít v trestním právním systému.
Ale nestačí jen vědět, že tato zaujatost existuje. Pokud to chceme umět opravit, musíme v první řadě pochopit mechaniku toho, jak to vzniká.
Jak dochází ke zkreslení AI
Naše vysvětlení zkreslení umělé inteligence často zkráceně obviňujeme ze zkreslených tréninkových dat. Realita je jemnější: může se vplížit zkreslení dlouho před daty sbírá se i při mnoho dalších etap procesu hlubokého učení. Pro účely této diskuse se zaměříme na tři klíčové fáze.
Rámování problému. První věc, kterou počítačoví vědci udělají, když vytvoří model hlubokého učení, je rozhodnout se, čeho vlastně chtějí dosáhnout. Například společnost vydávající kreditní karty může chtít předpovědět bonitu zákazníka, ale bonita je poněkud mlhavý pojem. Aby to bylo možné převést na něco, co lze spočítat, musí se společnost rozhodnout, zda chce, řekněme, maximalizovat své ziskové marže nebo maximalizovat počet splacených půjček. V kontextu tohoto cíle by pak mohla definovat úvěruschopnost. Problém je v tom, že tato rozhodnutí jsou přijímána z různých obchodních důvodů, které nejsou spravedlivé nebo diskriminační, vysvětluje Solon Barocas, odborný asistent na Cornellově univerzitě, který se specializuje na spravedlnost ve strojovém učení. Pokud by algoritmus zjistil, že poskytování subprime úvěrů je efektivní způsob, jak maximalizovat zisk, skončilo by to předátorským chováním, i když to nebylo záměrem společnosti.
Sběr dat. Existují dva hlavní způsoby, jak se předpojatost projevuje v tréninkových datech: buď data, která shromažďujete, neodpovídají realitě, nebo odrážejí stávající předsudky. První případ může nastat například tehdy, pokud algoritmus hlubokého učení obsahuje více fotografií tváří se světlou pletí než tváří s tmavou pletí. Výsledný systém rozpoznávání obličejů by byl nevyhnutelně horší při rozpoznávání tváří tmavší pleti. Druhý případ je přesně to, co se stalo, když Amazon zjistil, že jeho interní náborový nástroj byl odvolávání kandidátek . Protože byla školena na historických rozhodnutích o náboru, která upřednostňovala muže před ženami, naučila se dělat totéž.
Příprava dat. Konečně je možné zavést zkreslení během fáze přípravy dat, která zahrnuje výběr atributů, které má algoritmus brát v úvahu. (Nezaměňujte to s fází rámování problému. Můžete použít stejné atributy k trénování modelu pro velmi odlišné cíle nebo použít velmi odlišné atributy k trénování modelu pro stejný cíl.) V případě modelování úvěruschopnosti, atributem může být věk zákazníka, příjem nebo počet splacených úvěrů. V případě náborového nástroje Amazonu může být atributem pohlaví kandidáta, úroveň vzdělání nebo roky praxe. To je to, co lidé často nazývají uměním hlubokého učení: výběr, které atributy vzít v úvahu nebo ignorovat, může významně ovlivnit přesnost předpovědi vašeho modelu. Ale zatímco jeho dopad na přesnost je snadno měřitelný, jeho dopad na zkreslení modelu nikoliv.
Proč je obtížné napravit zkreslení AI
Vzhledem k tomuto kontextu vám již mohou být některé problémy se zmírněním zaujatosti zřejmé. Zde uvádíme čtyři hlavní.
Neznámé neznámé. Zavedení zkreslení není vždy zřejmé během konstrukce modelu, protože si možná uvědomíte následné dopady vašich dat a voleb až mnohem později. Jakmile to uděláte, je těžké zpětně identifikovat, odkud tato zaujatost přišla, a pak zjistit, jak se jí zbavit. V případě Amazonu, když inženýři původně zjistili, že jeho nástroj penalizuje kandidátky, přeprogramovali jej tak, aby ignoroval explicitně genderovaná slova, jako jsou ženy. Brzy zjistili, že revidovaný systém stále pokračuje implicitně genderová slova —slovesa, která vysoce korelovala s muži nad ženami, jako je popravení a zajetí – a pomocí toho se rozhodovala.
Nedokonalé procesy. Za prvé, mnoho standardních postupů v hlubokém učení není navrženo s ohledem na detekci zkreslení. Modely hlubokého učení jsou testovány na výkon před jejich nasazením, což se zdá být ideální příležitostí k zachycení zkreslení. V praxi ale testování obvykle vypadá takto: počítačoví vědci svá data náhodně rozdělují před školení do jedné skupiny, která se skutečně používá pro školení, a další, která je vyhrazena pro validaci po dokončení školení. To znamená, že data, která používáte k testování výkonu vašeho modelu, mají stejné zkreslení jako data, která jste použili k jeho trénování. Nepodaří se tedy označit zkreslené nebo předpojaté výsledky.
Nedostatek sociálního kontextu. Podobně způsob, jakým se informatici učí rámovat problémy, často není slučitelný s nejlepším způsobem, jak přemýšlet o sociálních problémech. Například v nový papír , Andrew Selbst, postdoktorand z Data & Society Research Institute, identifikuje to, co nazývá past přenositelnosti. V rámci informatiky se považuje za dobrou praxi navrhnout systém, který lze použít pro různé úkoly v různých kontextech. Ale to, co to dělá, je ignorovat spoustu sociálního kontextu, říká Selbst. Nemůžete mít systém navržený v Utahu a poté přímo aplikován v Kentucky, protože různé komunity mají různé verze spravedlnosti. Nebo nemůžete mít systém, kdy žádáte o „spravedlivé“ výsledky trestního soudnictví a poté se aplikuje na zaměstnání. To, jak v těchto kontextech přemýšlíme o spravedlnosti, je prostě úplně jiné.
Definice spravedlnosti. Není také jasné, jak by absence zkreslení měla vypadat. To neplatí jen v informatice – tato otázka má dlouhou historii debat ve filozofii, společenských vědách a právu. Na počítačové vědě je rozdíl v tom, že pojem spravedlnosti musí být definován matematickými pojmy, jako je vyvažování falešně pozitivních a falešně negativních četností predikčního systému. Ale jak vědci zjistili, existuje mnoho různých matematických definic spravedlnosti, které se také vzájemně vylučují. Znamená spravedlnost například to, že stejný poměr Černobílí jednotlivci by měli získat vysoké skóre hodnocení rizika? Nebo že stejnou míru rizika by mělo vést ke stejnému skóre bez ohledu na rasu? Není možné naplnit obě definice současně ( tady je podrobnější pohled na to, proč), takže v určitém okamžiku si musíte jeden vybrat. Ale zatímco v jiných oblastech je toto rozhodnutí chápáno jako něco, co se může v průběhu času změnit, oblast informatiky má představu, že by to mělo být opraveno. Opravením odpovědi řešíte problém, který vypadá úplně jinak, než jak má společnost tendenci o těchto problémech přemýšlet, říká Selbst.
Kam odsud jdeme
Pokud se zmítáte v naší bouřlivé prohlídce celého rozsahu problému zkreslení AI, já také. Ale naštěstí silný kontingent výzkumníků AI tvrdě pracuje na vyřešení problému. Zvolili různé přístupy: algoritmy, které pomáhají zjistit a zmírnit skryté předsudky v trénovacích datech nebo které zmírňují zaujatosti naučené modelem bez ohledu na kvalitu dat; procesy které drží společnosti odpovědný ke spravedlivějším výsledkům a diskuze které vylučují různé definice spravedlnosti.
„Oprava“ diskriminace v algoritmických systémech není něco, co lze snadno vyřešit, říká Selbst. Je to proces, který probíhá, stejně jako diskriminace v jakémkoli jiném aspektu společnosti.
To se původně objevilo v našem zpravodaji AI The Algorithm. Chcete-li jej doručit přímo do vaší schránky, zaregistrujte se zdarma zde.