Vysvětlena technologie, která stojí za fikcí OpenAI pro psaní fikcí a šířící falešné zprávy

Slovní bubliny ukazující začátek sci-fi příběhu a počítač pokračující ve vyprávění

Slovní bubliny ukazující začátek sci-fi příběhu a počítač pokračující ve vyprávění paní Tech





Minulý čtvrtek (14. února) zveřejnila nezisková výzkumná firma OpenAI a nový jazykový model schopný generovat přesvědčivé pasáže prózy. Tak přesvědčivý ve skutečnosti se výzkumníci zdrželi získávání kódu s otevřeným zdrojem v naději, že zastaví jeho potenciální zbrojení jako prostředek hromadné produkce falešných zpráv.

Zatímco působivé výsledky jsou pozoruhodným skokem za hranice toho, čeho dosáhly stávající jazykové modely, použitá technika není úplně nová. Místo toho byl průlom způsoben především tím, že do algoritmu přidávalo stále více tréninkových dat – trik, který byl také zodpovědný za většinu dalších nedávných pokroků ve výuce umělé inteligence číst a psát. Je to trochu překvapivé lidi, pokud jde o to, co můžete dělat s [...] více daty a většími modely, říká Percy Liang, profesor informatiky na Stanfordu.



Textové pasáže, které model vytváří, jsou dost dobré na to, aby se vydávaly za něco napsaného člověkem. Tato schopnost by však neměla být zaměňována se skutečným porozuměním jazyku – konečným cílem podoblasti umělé inteligence známé jako zpracování přirozeného jazyka (NLP). (V počítačovém vidění existuje analogie: algoritmus může syntetizovat vysoce realistické obrazy bez jakéhokoli skutečného vizuálního porozumění.) Ve skutečnosti je dostat stroje na tuto úroveň porozumění úkolem, který výzkumníkům NLP do značné míry unikal. Dosažení tohoto cíle může trvat roky, dokonce desetiletí, předpokládá Liang a pravděpodobně bude zahrnovat techniky, které ještě neexistují.

Čtyři různé filozofie jazyka v současné době řídí vývoj technik NLP. Začněme tím, který používá OpenAI.

#1. Distribuční sémantika

Seznam vět, které všechny obsahují dané slovo

Lingvistická filozofie. Slova odvozují význam od toho, jak se používají. Například slova kočka a pes jsou významově příbuzná, protože se používají víceméně stejně. Můžete krmit a hladit kočku a krmíte a hladíte psa. Nemůžete však krmit a hladit pomeranč.



Související příběh

Související příběh Tento algoritmus, napájený miliardami slov, vytváří přesvědčivé články a ukazuje, jak lze AI využít k oklamání lidí v masovém měřítku.

Jak se to překládá do NLP. Velkou zásluhu na tom mají algoritmy založené na distribuční sémantice nedávné průlomy v NLP . Používají strojové učení ke zpracování textu, hledají vzory tím, že v podstatě počítají, jak často a jak blízko jsou slova ve vzájemném vztahu používána. Výsledné modely pak mohou tyto vzory použít ke konstrukci úplných vět nebo odstavců a pohánět věci, jako je automatické doplňování nebo jiné prediktivní textové systémy. V posledních letech někteří badatelé také začali experimentovat s tím, že se budou dívat spíše na distribuce náhodných sekvencí znaků než na slova, takže modely mohou flexibilněji zacházet se zkratkami, interpunkcí, slangem a dalšími věcmi, které se ve slovníku nevyskytují, stejně jako jazyky, které nemají jasné hranice mezi slovy.

Klady. Tyto algoritmy jsou flexibilní a škálovatelné, protože je lze použít v jakémkoli kontextu a učit se z neoznačených dat.

Nevýhody. Modely, které vytvářejí, ve skutečnosti nerozumí větám, které vytvářejí. Na konci dne píší prózu pomocí slovních asociací.



#2. Sémantika rámce

Obrázek se čte

Lingvistická filozofie. Jazyk se používá k popisu akcí a událostí, takže věty lze rozdělit na předměty, slovesa a modifikátory – SZO , co , kde , a když .

Jak se to překládá do NLP. Algoritmy založené na sémantice rámců používají sadu pravidel nebo spoustu označených trénovacích dat, aby se naučily dekonstruovat věty. Díky tomu jsou obzvláště dobří při analýze jednoduchých příkazů – a jsou tak užiteční pro chatboty nebo hlasové asistenty. Pokud byste požádali Alexu, aby našel na zítra restauraci se čtyřmi hvězdičkami, takový algoritmus by přišel na to, jak provést větu tak, že ji rozloží na akci (najít), co (restaurace se čtyřmi hvězdičkami) a když (zítra).

Klady. Na rozdíl od distribučně-sémantických algoritmů, které nerozumí textu, ze kterého se učí, dokážou rámcově-sémantické algoritmy rozlišit různé části informací ve větě. Lze je použít k zodpovězení otázek typu Kdy se tato událost koná?



Nevýhody. Tyto algoritmy dokážou zpracovat pouze velmi jednoduché věty, a proto nedokážou zachytit nuance. Protože vyžadují hodně kontextově specifického školení, nejsou také flexibilní.

#3. Modelově teoretická sémantika

Ilustrace vyhledávání Google s dotazem,

Lingvistická filozofie. Jazyk se používá ke sdělování lidských znalostí.

Jak se to překládá do NLP. Modelově teoretická sémantika je založena na staré myšlence v AI, že veškeré lidské znalosti lze zakódovat, popř. modelovaný v řadě logických pravidel. Takže pokud víte, že ptáci mohou létat a orli jsou ptáci, můžete odvodit, že orli mohou létat. Tento přístup již není v módě, protože výzkumníci brzy zjistili, že z každého pravidla existuje příliš mnoho výjimek (například tučňáci jsou ptáci, ale neumí létat). Ale algoritmy založené na modelově teoretické sémantice jsou stále užitečné pro extrakci informací z modelů znalostí, jako jsou databáze. Podobně jako algoritmy rámcové sémantiky analyzují věty tak, že je dekonstruují na části. Ale zatímco sémantika rámce definuje tyto části jako SZO , co , kde , a když Modelově teoretická sémantika je definuje jako logická pravidla kódující znalosti. Zvažte například otázku Jaké je největší město v Evropě podle počtu obyvatel? Modelově teoretický algoritmus by to rozložil na řadu samostatných dotazů: Jaká jsou všechna města na světě? Které jsou v Evropě? Jaká je populace měst? Která populace je největší? Poté by byl schopen procházet model znalostí, aby vám získal konečnou odpověď.

Klady. Tyto algoritmy dávají strojům schopnost odpovídat na složité a jemné otázky.

Nevýhody. Vyžadují model znalostí, jehož vytvoření je časově náročné a není flexibilní v různých kontextech.

#4. Ukotvená sémantika

Čtení a zobrazování obrázků

Lingvistická filozofie. Jazyk odvozuje význam z prožité zkušenosti. Jinými slovy, lidé vytvořili jazyk, aby dosáhli svých cílů, takže je třeba jej chápat v kontextu našeho cíleně orientovaného světa.

Jak se to překládá do NLP. Toto je nejnovější přístup a ten, o kterém si Liang myslí, že je nejslibnější. Snaží se napodobit, jak lidé během svého života přebírají jazyk: stroj začíná v prázdném stavu a učí se spojovat slova se správným významem prostřednictvím konverzace a interakce. V jednoduchém příkladu, kdybyste chtěli naučit počítač, jak pohybovat objekty ve virtuálním světě, dali byste mu příkaz jako Posuňte červený blok doleva a pak mu ukázali, co jste tím mysleli. Postupem času by se stroj naučil rozumět a provádět příkazy bez pomoci.

Klady. Teoreticky by tyto algoritmy měly být velmi flexibilní a měly by se co nejvíce blížit skutečnému porozumění jazyku.

Nevýhody. Výuka je časově velmi náročná – a ne všechna slova a fráze lze ilustrovat tak snadno jako Posuňte červený blok.

Liang si myslí, že v krátkodobém horizontu zaznamená oblast NLP mnohem větší pokrok od využívání stávajících technik, zejména těch, které jsou založeny na distribuční sémantice. Věří však, že z dlouhodobého hlediska mají všechny své limity. Pravděpodobně existuje kvalitativní propast mezi tím, jak lidé rozumí jazyku a vnímají svět, a našimi současnými modely, říká. Uzavření této mezery by pravděpodobně vyžadovalo nový způsob myšlení, dodává, a také mnohem více času.

To se původně objevilo v našem zpravodaji AI The Algorithm. Chcete-li jej doručit přímo do vaší schránky, zaregistrujte se zdarma zde.

skrýt