Facebook tvrdí, že jeho nový chatbot poráží Google jako nejlepší na světě

Přes všechen pokrok, kterého chatboti a virtuální asistenti dosáhli, jsou stále strašliví konverzaci. Většina z nich je vysoce zaměřená na úkoly: vy podáte požadavek a oni splní. Některé jsou velmi frustrující: zdá se, že nikdy nedostanou to, co hledáte. Jiné jsou strašně nudné: chybí jim kouzlo lidského společníka. Je to v pořádku, když chcete nastavit pouze časovač. Ale jak se tito roboti stávají stále populárnějšími jako rozhraní pro vše od maloobchodu přes zdravotní péči až po finanční služby, nedostatky jsou stále zjevnější.

Nyní Facebook vytvořil open-source a nový chatbot o které tvrdí, že dokáže poutavě a zajímavě hovořit téměř o čemkoli. Blender mohl nejen pomoci virtuálním asistentům vyřešit mnoho z jejich nedostatků, ale také ukázat pokrok směrem k větším ambicím, které jsou hnacím motorem většiny výzkumu AI: replikovat inteligenci. Dialog je určitým problémem „AI kompletní“, říká Stephen Roller, výzkumný inženýr na Facebooku, který projekt vedl. K vyřešení dialogu byste museli vyřešit veškerou umělou inteligenci, a pokud vyřešíte dialog, vyřešili jste veškerou umělou inteligenci.

Schopnost Blenderu vychází z obrovského rozsahu jeho tréninkových dat. Nejprve byl trénován na 1,5 miliardě veřejně dostupných konverzací na Redditu, aby byl základem pro generování odpovědí v dialogu. Poté byl doladěn pomocí dalších datových sad pro každou ze tří dovedností: rozhovory, které obsahovaly nějaký druh emocí , naučit ho empatii (pokud uživatel řekne například, že jsem dostal povýšení, může říct: Gratuluji!); konverzace plné informací s odborníkem, naučit ho znalostem; a rozhovory mezi lidmi s odlišnými osobnostmi , naučit to osobnost. Výsledný model je 3,6krát větší než Chatbot společnosti Google Meena , který byl oznámen v lednu – tak velký, že se nevejde na jediné zařízení a musí místo toho běžet na dvou počítačových čipech.

Příklad rozhovoru mezi člověkem a Blenderem.

FACEBOOK

V té době Google prohlásil, že Meena je nejlepší chatbot na světě. Ve vlastních testech Facebooku však 75 % lidských hodnotitelů shledalo Blender poutavější než Meena a 67 % zjistilo, že zní spíše jako člověk. Chatbot také oklamal lidské hodnotitele ve 49 % případů, kdy si mysleli, že jeho konverzační protokoly jsou lidštější než konverzační protokoly mezi skutečnými lidmi – což znamená, že mezi nimi nebyl příliš velký kvalitativní rozdíl. V době, kdy měl být tento příběh zveřejněn, Google neodpověděl na žádost o komentář.

Navzdory těmto působivým výsledkům se však dovednosti Blenderu stále ani zdaleka neblíží lidským. Doposud tým hodnotil chatbota pouze na krátkých konverzacích se 14 tahy. Pokud by to pokračovalo v chatování déle, vědci mají podezření, brzy by to přestalo dávat smysl. Tyto modely nejsou schopny jít do super hloubky, říká Emily Dinan, další vedoucí projektu. Nejsou schopni si zapamatovat historii konverzace po několika otáčkách.

Blender má také tendenci halucinovat znalosti nebo si vymýšlet fakta – přímé omezení technik hlubokého učení používaných k jejich budování. Nakonec generuje své věty spíše ze statistických korelací než z databáze znalostí. Díky tomu může dát dohromady podrobný a souvislý popis například slavné celebrity, ale se zcela nepravdivými informacemi. Tým plánuje experimentovat s integrací znalostní databáze do generování odpovědí chatbota.

Lidští hodnotitelé porovnávali víceotáčkové konverzace s různými chatboty.

FACEBOOK

Další velkou výzvou u jakéhokoli systému chatbotů s otevřeným koncem je zabránit tomu, aby říkal toxické nebo zaujaté věci. Vzhledem k tomu, že takové systémy jsou nakonec trénovány na sociálních médiích, mohou skončit regurgitací internetu. (To se neslavně stalo Chatbot společnosti Microsoft Tay v roce 2016.) Tým se pokusil tento problém vyřešit tím, že požádal crowdworkery, aby odfiltrovali škodlivý jazyk ze tří datových sad, které použil pro jemné doladění, ale neudělal totéž pro datovou sadu Reddit kvůli její velikosti. (Každý, kdo strávil hodně času na Redditu, bude vědět, proč by to mohlo být problematické.)

Tým doufá, že bude experimentovat s lepšími bezpečnostními mechanismy, včetně klasifikátoru toxického jazyka, který by mohl dvakrát zkontrolovat reakci chatbota. Výzkumníci však připouštějí, že tento přístup nebude komplexní. Někdy se věta jako Ano, to je skvělé může zdát v pořádku, ale v citlivém kontextu, například v reakci na rasistický komentář, může nabýt škodlivých významů.

Z dlouhodobého hlediska má tým Facebook AI také zájem na vývoji sofistikovanějších konverzačních agentů, kteří dokážou reagovat na vizuální podněty i na slova. Jeden projekt vyvíjí například systém nazvaný Image Chat, který dokáže rozumně a osobitě konverzovat o fotkách, které může uživatel poslat.

skrýt