Google DeepMind učí stroje umělé inteligence číst

Revoluce v oblasti umělé inteligence se v současné době šíří počítačovou vědou. Tato technika se nazývá hluboké učení a ovlivňuje vše od obličeje a hlasu po módu a ekonomiku.

Jednou oblastí, která však dosud nepřinesla užitek, je zpracování přirozeného jazyka – schopnost číst dokument a poté odpovídat na otázky o něm. Je to částečně proto, že stroje pro hluboké učení se musí nejprve naučit své řemeslo z rozsáhlých databází, které jsou pro tento účel pečlivě anotovány. Ty však jednoduše neexistují v dostatečné velikosti, aby byly užitečné.

Dnes se to mění díky práci Karla Moritze Hermanna v Google DeepMind v Londýně a několika kamarádům. Tito lidé říkají, že zvláštní způsob, jakým Daily Mail a CNN píší online zpravodajské články, umožňuje jejich použití tímto způsobem. A obrovské množství článků dostupných online poprvé vytváří databázi, kterou mohou počítače používat k učení a následnému zodpovězení souvisejících otázek. Jinými slovy, DeepMind používá články Daily Mail a CNN k tomu, aby počítače naučily číst.

Revoluce hlubokého učení přišla z velké části díky dvěma průlomům. První souvisí s neuronovými sítěmi, kde počítačoví vědci vyvinuli nové techniky pro trénování sítí s mnoha vrstvami, což je úkol, který byl složitý kvůli množství parametrů, které je třeba doladit. Nové techniky v podstatě vytvářejí hotové sítě, které jsou připraveny se učit.

Neuronová síť je však bez databáze, ze které se lze učit, k ničemu. Taková databáze musí být pečlivě anotována, aby měl stroj zlatý standard, ze kterého se lze učit. Například pro rozpoznávání obličejů musí tréninková databáze obsahovat obrázky, na kterých jsou obličeje a jejich pozice v záběru jasně identifikovány. A aby obrázky pokryly co nejvíce uspořádání obličeje, musí být databáze obrovské.

To je nedávno možné díky crowdsourcingovým službám, jako je Amazon's Mechanical Turk. Různé týmy vytvořily tento druh databáze zlatého standardu tím, že lidem ukázaly obrázky a požádaly je, aby kolem tváří, které obsahují, nakreslili ohraničující rámečky.

Ale vytvořit podobně anotovanou databázi pro psané slovo je mnohem těžší. Jistě, je možné extrahovat věty, které obsahují důležité body. Ale to moc nepomůže, protože jakýkoli strojový algoritmus se rychle naučí hledat v textu stejnou frázi, což je pro počítač triviální úkol.

Místo toho musí anotace popisovat obsah textu, ale nesmí se v něm objevit. Aby porozuměl vazbě, musí se algoritmus učení dívat za hranice pouhého výskytu slov a frází, ale také na jejich gramatické vazby a kauzální vztahy.

Vytvoření takové databáze se snadněji řekne, než udělá. Počítačoví vědci vytvořili malé verze ručně, ale tyto jsou příliš malé na to, aby byly pro neuronové sítě užitečné. A zdá se, že existuje jen malá možnost vytvářet větší ručně, protože lidé jsou obecně špatní v přesném anotování textu, pokud nejsou specializovanými editory.

Zadejte webovou stránku Daily Mail, MailOnline a CNN online. Tyto stránky zobrazují zpravodajské články s hlavními body článku zobrazenými jako odrážky, které jsou psány nezávisle na textu. Klíčové je, aby tyto souhrnné body byly abstraktní a nekopírovaly pouze věty z dokumentů, říkají Hermann a spol.

To okamžitě naznačuje způsob, jak vytvořit anotovanou databázi: berte zpravodajské články jako texty a souhrny odrážek jako anotaci.

Tým DeepMind jde však ještě dále. Poukazují na to, že je stále možné vypracovat odpověď na mnoho dotazů pomocí jednoduchých metod vyhledávání slov.

Uvádějí následující příklad typu problému známého jako Cloze query, k jehož řešení se často používají algoritmy strojového učení. Zde je cílem identifikovat X v těchto upravených titulcích z Daily Mail: a) hi-tech podprsenka, která vám pomůže porazit prsa X; b) Mohl by sacharin pomoci porazit X?; c) Mohou rybí oleje pomoci v boji s prostatou X?

Hermann a spol. poukazují na to, že jednoduchý typ algoritmu dolování dat zvaný ngram search by mohl snadno najít odpověď hledáním slov, která se nejčastěji objevují vedle všech těchto frází. Odpovědí je samozřejmě slovo rakovina.

Aby tento typ řešení zmařil, Hermann a společně anonymizovali datovou sadu nahrazením aktérů ve větách obecným popisem. Příklad některého původního textu z Daily Mail je tento: Producent BBC, kterého údajně zasáhl Jeremy Clarkson, nebude vznášet obvinění proti hostiteli Top Gearu, řekl v pátek jeho právník. Clarkson, který moderoval jeden z nejsledovanějších televizních pořadů na světě, byl BBC ve středu vyřazen poté, co interní vyšetřování britské televizní stanice zjistilo, že vystavil producenta Oisina Tymona nevyprovokovanému fyzickému a verbálnímu útoku.

Anonymizovaná verze tohoto textu by byla následující:
The ent381 výrobce údajně zasáhl ent212 nebude vznášet obvinění proti ent153 hostitele, řekl v pátek jeho právník. ent212 , který hostil jeden z nejsledovanějších televizních pořadů na světě, byl vynechán ent381 ve středu po interním vyšetřování ze strany úřadu ent180 vysílatel zjistil, že podrobil producentovi ent193 k nevyprovokovanému fyzickému a verbálnímu útoku.

Tímto způsobem je možné převést následující dotaz typu Cloze na identifikaci X Producent X nevznese obvinění proti Jeremymu Clarksonovi, říká jeho právník na Producent X nebude vznášet obvinění ent212 , říká jeho právník .

A požadovaná odpověď se změní z Oisin Tymon na ent212 .

Tímto způsobem je možné identifikovat anonymizovaného aktéra pouze s určitým pochopením gramatických vazeb a kauzálních vztahů mezi entitami v příběhu.

Výsledná databáze je rozsáhlá, sestává ze 110 000 článků ze CNN a 218 000 článků z webu Daily Mail.

Hermann a spol., kteří vytvořili tento druh databáze poprvé, nemohou odolat, aby ji použili k tomu, aby vyzkoušeli několik technik strojového učení. Porovnávají konvenční techniky zpracování přirozeného jazyka, jako je měření vzdálenosti mezi kombinacemi slov, a modernější přístupy neuronových sítí.

Výsledky jasně ukazují, jak mocné se neuronové sítě staly. Hermann a spol. tvrdí, že nejlepší neuronové sítě dokážou odpovědět na 60 procent dotazů, které jim byly položeny. Naznačují, že tyto stroje mohou odpovídat na všechny dotazy, které jsou strukturovány jednoduchým způsobem, a bojovat pouze s dotazy, které mají složitější gramatické struktury.

Existují samozřejmě některá upozornění. Nejzřetelnější je, že články z Daily Mail a CNN mají velmi specifickou základní strukturu, která se liší od jiných nežurnalistických forem psaní. Není jasné, jak tato základní struktura ovlivňuje výsledky.

Není ani jasné, jak se tyto stroje srovnávají s lidskými schopnostmi, něco, co by bylo snadné zjistit pomocí služeb, jako je Mechanical Turk. To by dávalo do kontextu tvrzení DeepMind, naznačené v názvu jeho příspěvku, že tyto stroje se učí porozumět tomu, co čtou.

Přesto se jedná o zajímavou práci, která připravuje scénu pro některé fascinující události v blízké budoucnosti. Přichází strojové čtení; jedinou otázkou je, jak rychle.

Ref: arxiv.org/abs/1506.03340 : Učící stroje číst a chápat

skrýt