Proč žádat AI, aby se vysvětlila, může věci zhoršit

Frogger se chystá promluvit MS Tech / Getty

Upol Ehsan jednou absolvoval testovací jízdu v samořídícím autě Uberu. Místo toho, aby se znepokojovali prázdným sedadlem řidiče, byli znepokojení cestující vyzváni, aby sledovali obrazovku dudlíku, která ukazovala pohled auta na silnici: nebezpečí označená oranžově a červeně, bezpečné zóny chladně modrou.

Pro Ehsan , který studuje způsob interakce lidí s umělou inteligencí na Georgia Institute of Technology v Atlantě, zamýšlená zpráva byla jasná: Nenechte se vyděsit – to je důvod, proč auto dělá to, co dělá. Ale něco na mimozemsky vyhlížející pouliční scéně spíše zvýrazňovalo podivnost zážitku, než aby je uklidňovalo. Ehsana to přimělo přemýšlet: co kdyby to samořídící auto dokázalo skutečně vysvětlit samo sebe?

Úspěch hlubokého učení je způsoben šťoucháním: nejlepší neuronové sítě jsou vylepšeny a přizpůsobeny tak, aby byly lepší, a praktické výsledky předčily teoretické chápání. V důsledku toho jsou podrobnosti o tom, jak trénovaný model funguje, obvykle neznámé. Začali jsme je považovat za černé skříňky.

Většinu času jsme s tím v pořádku, pokud jde o věci, jako je hraní Go nebo překládání textu nebo výběr dalšího pořadu Netflix, na který se vrhneme. Ale pokud má být umělá inteligence použita k rozhodování v oblasti vymáhání práva, lékařské diagnostiky a automobilů bez řidiče, pak musíme pochopit, jak k těmto rozhodnutím dospěje – a vědět, kdy jsou chybná.

Lidé potřebují moc nesouhlasit s nebo odmítnout automatizované rozhodnutí, říká Iris Howley , počítačový vědec na Williams College ve Williamstownu, Massachusetts. Bez toho se lidé budou bránit technologii. Můžete vidět, jak se to odehrává právě teď s veřejnou reakcí na systémy rozpoznávání obličeje, říká.

Ehsan je součástí malé, ale rostoucí skupiny výzkumníků, kteří se snaží vylepšit AI ve vysvětlování, aby nám pomohli nahlédnout do černé skříňky. Cílem takzvané interpretovatelné nebo vysvětlitelné umělé inteligence (XAI) je pomoci lidem porozumět tomu, jaké vlastnosti v datech se neuronová síť ve skutečnosti učí – a tedy zda je výsledný model přesný a nezaujatý.

Jedním z řešení je vybudovat systémy strojového učení, které ukazují jejich fungování: takzvaný glassbox – na rozdíl od black-box – AI. Modely Glassbox jsou obvykle mnohem zjednodušené verze neuronové sítě, ve kterých je snazší sledovat, jak různé části dat ovlivňují model.

V komunitě jsou lidé, kteří obhajují používání modelů skleněných boxů v jakémkoli prostředí s vysokými sázkami, říká Jennifer Wortman Vaughan , počítačový vědec ze společnosti Microsoft Research. z velké části souhlasím. Jednoduché modely skleněných krabiček mohou fungovat stejně jako složitější neuronové sítě na určitých typech strukturovaných dat, jako jsou tabulky statistik. U některých aplikací je to vše, co potřebujete.

Ale záleží na doméně. Pokud se chceme učit z chaotických dat, jako jsou obrázky nebo text, uvízli jsme v hlubokých – a tedy neprůhledných – neuronových sítích. Schopnost těchto sítí vytvářet smysluplná spojení mezi velmi velkým množstvím nesourodých prvků je spojena s jejich složitostí.

I zde by mohlo pomoci strojové učení glassbox. Jedním z řešení je provést dva průchody dat a natrénovat nedokonalý model skleněné krabice jako krok ladění k odhalení potenciálních chyb, které byste možná chtěli opravit. Jakmile jsou data vyčištěna, lze natrénovat přesnější model černé skříňky.

Je to však ošemetná rovnováha. Přílišná transparentnost může vést k přetížení informacemi. V 2018 stud Y Při pohledu na to, jak neodborní uživatelé komunikují s nástroji strojového učení, Vaughan zjistil, že transparentní modely mohou ve skutečnosti ztížit odhalení a opravu chyb modelu.

Dalším přístupem je zahrnout vizualizace, které ukazují několik klíčových vlastností modelu a jeho podkladových dat. Myšlenka je taková, že na první pohled můžete vidět vážné problémy. Model by se například mohl příliš spoléhat na určité funkce, což by mohlo signalizovat zkreslení.

Tyto vizualizační nástroje se ukázaly být neuvěřitelně populární za krátkou dobu, co existují. Ale opravdu pomáhají? V první studie svého druhu Vaughan a její tým se to pokusili zjistit – a odhalili některé vážné problémy.

Tým použil dva oblíbené nástroje pro interpretaci, které poskytují přehled o modelu prostřednictvím grafů a datových grafů a zdůrazňují věci, kterých se model strojového učení při školení nejvíce naučil. V rámci společnosti Microsoft bylo rekrutováno 11 profesionálů v oblasti umělé inteligence, všichni se liší vzděláním, pracovními rolemi a zkušenostmi. Zúčastnili se falešné interakce s modelem strojového učení vyškoleným na datovém souboru národního důchodu převzatém ze sčítání lidu v roce 1994 v USA. Experiment byl navržen speciálně tak, aby napodoboval způsob, jakým datoví vědci používají nástroje pro interpretaci v typech úkolů, kterým běžně čelí.

To, co tým našel, bylo zarážející. Jistě, nástroje někdy pomohly lidem odhalit chybějící hodnoty v datech. Ale tato užitečnost byla zastíněna tendencí přehnaně důvěřovat a špatně číst vizualizace. V některých případech uživatelé ani nedokázali popsat, co vizualizace ukazují. To vedlo k nesprávným předpokladům o souboru dat, modelech a samotných nástrojích interpretovatelnosti. A vzbudilo to falešnou důvěru v nástroje, díky nimž byli účastníci chytřejší při nasazování modelů, i když měli pocit, že něco není úplně v pořádku. Je znepokojivé, že to platilo, i když byl výstup zmanipulován tak, aby ukazoval vysvětlení, která nedávala smysl.

Aby výzkumníci podpořili zjištění ze své malé uživatelské studie, provedli online průzkum mezi přibližně 200 profesionály v oblasti strojového učení přijatými prostřednictvím seznamů adres a sociálních médií. Našli podobný zmatek a nemístnou důvěru.

A co je horší, mnoho účastníků s radostí použilo vizualizace k rozhodování o nasazení modelu, přestože přiznali, že nerozuměli matematice, která se za nimi skrývá. Bylo obzvláště překvapivé vidět, jak lidé ospravedlňují zvláštnosti v datech vytvářením příběhů, které je vysvětlují, říká Harmanpreet Kaur na University of Michigan, spoluautor studie. Zaujatost automatizace byla velmi důležitým faktorem, který jsme nezvažovali.

Ach, automatizační zkreslení. Jinými slovy, lidé jsou připraveni důvěřovat počítačům. není to novinka jev . Pokud jde o automatizované systémy od leteckých autopilotů po kontrolu pravopisu, studie ukázaly, že lidé často přijímají rozhodnutí, která učiní, i když jsou zjevně nesprávní. Ale když se to stane s nástroji navrženými tak, aby nám pomohly vyhnout se právě tomuto jevu, máme ještě větší problém.

co s tím můžeme dělat? Pro některé je část problému s první vlnou XAI v tom, že v ní dominují výzkumníci strojového učení, z nichž většina jsou zkušení uživatelé systémů AI. Tim Miller z Melbourneské univerzity, který studuje, jak lidé používají systémy umělé inteligence, říká: Vězni provozují azylový dům.

To si Ehsan uvědomil, když seděl vzadu v Uberu bez řidiče. Je snazší porozumět tomu, co automatizovaný systém dělá – a vidět, kdy dělá chybu –, pokud zdůvodňuje své činy tak, jak by to dělal člověk. Ehsan a jeho kolega Mark Riedl vyvíjejí systém strojového učení, který automaticky generuje takové zdůvodnění v přirozeném jazyce . V raném prototypu dvojice vzala neuronovou síť, která se naučila hrát klasickou videohru Frogger z 80. let, a vycvičila ji, aby při každém pohybu poskytla důvod.

Snímek obrazovky softwaru Ehsan a Riedl's Frogger Explanation Upol Ehsan

Aby toho dosáhli, ukázali systému mnoho příkladů lidí, kteří hru hrají, zatímco nahlas mluví o tom, co dělají. Potom vzali neuronovou síť pro překlad mezi dvěma přirozenými jazyky a upravili ji tak, aby místo toho překládala mezi akcemi ve hře a zdůvodněním těchto akcí v přirozeném jazyce. Nyní, když neuronová síť vidí akci ve hře, převede ji do vysvětlení. Výsledkem je umělá inteligence hrající Frogger, která říká věci, jako je pohyb doleva, abych zůstal za modrým náklaďákem pokaždé, když se pohne.

Práce Ehsana a Riedla je jen začátek. Jednak není jasné, zda systém strojového učení bude vždy schopen poskytnout logické zdůvodnění svých činností. Vezměte deskovou hru DeepMind AI AlphaZero. Jednou z nejvýraznějších vlastností softwaru je jeho schopnost provádět vítězné tahy, které by většinu lidských hráčů ani nenapadlo zkoušet v té chvíli ve hře. Kdyby AlphaZero dokázal vysvětlit své pohyby, dávaly by vždy smysl?

Důvody pomáhají, ať už jim rozumíme nebo ne, říká Ehsan: Cílem XAI zaměřeného na člověka není jen přimět uživatele, aby souhlasil s tím, co AI říká, ale také vyvolat reflexi. Riedl vzpomíná, jak sledoval přímý přenos turnajového zápasu mezi AI DeepMind a korejským šampionem Go Lee Sedolem. Komentátoři mluvili o tom, co AlphaGo viděl a co si myslel. „Takto AlphaGo nefungovalo,“ říká Riedl. 'Ale cítil jsem, že ten komentář je nezbytný pro pochopení toho, co se děje.'

Na čem se tato nová vlna výzkumníků XAI shoduje, je to, že pokud má systémy umělé inteligence používat více lidí, tito lidé musí být součástí návrhu od začátku – a různí lidé potřebují různé druhy vysvětlení. (To je podpořeno novou studií Howley a jejích kolegů, ve které ukazují, že schopnost lidí porozumět interaktivní nebo statické vizualizaci závisí na úrovni jejich vzdělání.) Představte si umělou inteligenci, která diagnostikuje rakovinu, říká Ehsan. Chtěli byste, aby vysvětlení, které poskytuje onkologovi, bylo velmi odlišné od vysvětlení, které poskytuje pacientovi.

Nakonec chceme, aby se umělá inteligence vysvětlovala nejen datovým vědcům a lékařům, ale také policistům používajícím technologii rozpoznávání obličejů, učitelům používajícím analytický software ve svých třídách, studentům, kteří se snaží porozumět jejich sociálním médiím – a komukoli, kdo sedí na zadním sedadle. samořídícího vozu. Vždy jsme věděli, že lidé technologiím příliš důvěřují, a to platí zejména pro systémy AI, říká Riedl. Čím více říkáte, že je to chytré, tím více lidí je přesvědčeno, že je to chytřejší než oni.

Vysvětlení, kterým může kdokoli porozumět, by mělo pomoci tuto bublinu prasknout.

skrýt