211service.com
AI stále nemá zdravý rozum, aby porozuměla lidské řeči
Rozmazané psaní na zdi Pexels / Jimmy Chan
Až do nedávné doby byly počítače beznadějné při vytváření vět, které skutečně dávaly smysl. Ale oblast zpracování přirozeného jazyka (NLP) udělala obrovský pokrok a stroje nyní mohou generovat přesvědčivé pasáže stisknutím tlačítka.
Tyto pokroky byly řízeny technikami hlubokého učení, které vybírají statistické vzorce v používání slov a struktuře argumentů z rozsáhlých zásob textu. Ale a nový papír z Allen Institute of Artificial Intelligence upozorňuje na něco, co stále chybí: stroje ve skutečnosti nerozumí tomu, co píší (nebo čtou).
To je zásadní výzva ve velkém úsilí o zobecnění AI – ale mimo akademickou sféru je to důležité i pro spotřebitele. Chatboti a hlasoví asistenti vybudovaní na nejmodernějších modelech přirozeného jazyka se například stali rozhraním pro mnoho finanční instituce , Poskytovatelé zdravotní péče , a vládní agentury . Bez skutečného porozumění jazyku jsou tyto systémy náchylnější k selhání, což zpomaluje přístup k důležitým službám.
Výzkumníci postavili na práci Winograd Schema Challenge , test vytvořený v roce 2011 k vyhodnocení logického uvažování systémů NLP. Výzva využívá sadu 273 otázek zahrnujících dvojice vět, které jsou shodné až na jedno slovo. Toto slovo, známé jako spouštěč, převrací význam zájmena každé věty, jak je vidět v příkladu níže:
- Trofej se nevejde do hnědého kufru, protože své také velký .
- Trofej se nevejde do hnědého kufru, protože své také malý .
Aby systém NLP uspěl, musí zjistit, ke které ze dvou možností se zájmeno vztahuje. V tomto případě by bylo potřeba vybrat trofej pro první a kufr pro druhé, aby se problém správně vyřešil.
Test byl původně navržen s myšlenkou, že takové problémy nelze zodpovědět bez hlubšího pochopení sémantiky. Nejmodernější modely hlubokého učení nyní dokážou dosáhnout přesnosti kolem 90 %, takže by se zdálo, že se NLP přiblížilo svému cíli. Ale ve svém článku, který obdrží ocenění Outstanding Paper Award na konferenci AAAI příští měsíc, výzkumníci zpochybňují efektivitu benchmarku, a tím i úroveň pokroku, kterého tato oblast skutečně dosáhla.
Vytvořili podstatně větší soubor dat, nazvaný WinoGrande, se 44 000 stejnými typy problémů. Aby toho dosáhli, navrhli schéma crowdsourcingu pro rychlé vytváření a ověřování nových dvojic vět. (Část důvodu, proč je soubor dat z Winogradu tak malý, je ten, že byl ručně vytvořen odborníky.) Pracovníci na Amazon Mechanical Turk vytvořili nové věty s požadovanými slovy vybranými pomocí randomizační procedury. Každý pár vět byl poté přidělen třem dalším pracovníkům a ponechán pouze v případě, že splňoval tři kritéria: alespoň dva pracovníci vybrali správné odpovědi, všichni tři považovali možnosti za jednoznačné a odkazy na zájmena nebylo možné odvodit pomocí jednoduchých slovních asociací.
Jako poslední krok výzkumníci také provedli soubor dat pomocí algoritmu, aby odstranili co nejvíce artefaktů – neúmyslné datové vzorce nebo korelace, které by mohly pomoci jazykovému modelu dospět ke správným odpovědím ze špatných důvodů. To snížilo šanci, že se model naučí hrát se souborem dat.
Když testovali nejmodernější modely na tyto nové problémy, výkon klesl na 59,4 % až 79,1 %. Naproti tomu lidé stále dosahovali přesnosti 94 %. To znamená, že vysoké skóre v původním testu Winograd je pravděpodobně nafouknuté. Je to jen úspěch specifický pro soubor dat, nikoli úspěch obecného úkolu, říká Yejin Choi, docent na Washingtonské univerzitě a vedoucí výzkumný manažer na AI2, který vedl výzkum.
Choi doufá, že soubor dat poslouží jako nový benchmark. Ale také doufá, že to bude inspirovat více výzkumníků, aby se podívali za hranice hlubokého učení. Výsledky jí zdůraznily, že skutečné systémy NLP se zdravým rozumem musí zahrnovat další techniky, jako jsou strukturované znalostní modely. Její předchozí práce ukázal v tomto směru významný příslib. Musíme nějak najít jiný herní plán, říká.
List zaznamenal určitou kritiku. Ernest Davis, jeden z výzkumníků, kteří pracovali na původní Winogradově výzvě, říká, že mnoho příkladových větných párů uvedených v tomto článku je vážně chybných a mají matoucí gramatiku. Neodpovídají tomu, jak lidé mluvící anglicky skutečně používají zájmena, napsal v e-mailu.
Choi však poznamenává, že skutečně robustní modely by k pochopení věty neměly potřebovat dokonalou gramatiku. Lidé, kteří mluví anglicky jako druhým jazykem, někdy zaměňují gramatiku, ale stále vyjadřují svůj význam.
Lidé mohou snadno pochopit, o čem jsou naše otázky, a vybrat správnou odpověď, říká s odkazem na 94% přesnost výkonu. Pokud by toho měli být schopni lidé, můj postoj je, že by to měly být schopny i stroje.
Chcete-li, aby bylo více takových příběhů doručeno přímo do vaší schránky, přihlaste se k odběru našeho zpravodaje o umělé inteligenci The Algorithm nominovaného na Webby. Je to zdarma.