211service.com
Průkopník umělé inteligence Geoff Hinton: Hluboké učení zvládne všechno
Noah Berger/AP
- K mezerám na poli umělé inteligence: „Bude muset dojít k několika koncepčním průlomům... také potřebujeme masivní nárůst rozsahu.“
- O slabinách neuronových sítí: 'Neuronové sítě jsou překvapivě dobré v práci s poměrně malým množstvím dat, s velkým množstvím parametrů, ale lidé jsou ještě lepší.'
- O tom, jak náš mozek funguje: 'To, co je uvnitř mozku, jsou tyto velké vektory nervové aktivity.'
Moderní revoluce umělé inteligence začala během obskurní výzkumné soutěže. Psal se rok 2012, třetí ročník každoroční soutěže ImageNet, která vyzvala týmy k vytvoření systémů počítačového vidění, které by rozpoznaly 1000 objektů, od zvířat přes krajinu až po lidi.
V prvních dvou letech nejlepší týmy nedokázaly dosáhnout ani 75% přesnosti. Ale ve třetí skupině tří výzkumníků – profesora a jeho studentů – náhle proletěla kolem tohoto stropu. Soutěž vyhráli o závratných 10,8 procentního bodu. Tím profesorem byl Geoffrey Hinton a technika, kterou používali, se nazývala hluboké učení.
Hinton skutečně pracoval s hlubokým učením od 80. let, ale jeho účinnost byla omezena nedostatkem dat a výpočetního výkonu. Jeho neochvějná víra v techniku nakonec přinesla obrovské dividendy. Ve čtvrtém ročníku soutěže ImageNet téměř každý tým používal hluboké učení a dosahoval zázračných výsledků v přesnosti. Brzy bylo dostatečně hluboké učení aplikováno na úkoly, které nelze rozpoznat podle obrazu, a také v širokém spektru průmyslových odvětví.
V loňském roce byl Hinton za svůj zásadní přínos v této oblasti oceněn Turingovou cenou spolu s dalšími průkopníky umělé inteligence Yannem LeCunem a Yoshuou Bengiem. 20. října jsem s ním mluvil na výroční konferenci EmTech MIT MIT Technology Review o stavu oboru a o tom, kam by se podle něj mělo dále ubírat.
Následující text byl pro přehlednost upraven a zhuštěn.
Myslíte si, že hluboké učení bude stačit k replikaci veškeré lidské inteligence. Čím si jsi tak jistý?
Věřím, že hluboké učení dokáže všechno, ale myslím si, že bude muset dojít k několika koncepčním průlomům. Například v roce 2017 Ashish Vaswani a kol . představil transformátory , které odvozují opravdu dobré vektory reprezentující významy slov. Byl to koncepční průlom. Nyní se používá téměř ve všech nejlepších zpracováních v přirozeném jazyce. Budeme potřebovat spoustu dalších takových průlomů.
A pokud budeme mít tyto průlomy, budeme schopni přiblížit veškerou lidskou inteligenci prostřednictvím hlubokého učení?
Ano. Zejména objevy týkající se toho, jak získáte velké vektory neurální aktivity k implementaci věcí, jako je rozum. Potřebujeme však také masivní nárůst rozsahu. Lidský mozek má asi 100 bilionů parametrů neboli synapsí. To, čemu nyní říkáme opravdu velký model, jako GPT-3 , má 175 miliard. Je tisíckrát menší než mozek. GPT-3 nyní dokáže generovat docela věrohodně vypadající text a ve srovnání s mozkem je stále malý.
Když říkáte měřítko, máte na mysli větší neuronové sítě, více dat nebo obojí?
Oba. Existuje určitý rozpor mezi tím, co se děje v informatice, a tím, co se děje s lidmi. Lidé mají obrovské množství parametrů ve srovnání s množstvím dat, které získávají. Neuronové sítě jsou překvapivě dobré v práci s poměrně malým množstvím dat, s velkým množstvím parametrů, ale lidé jsou ještě lepší.
Mnoho lidí v oboru věří, že zdravý rozum je další velkou schopností, kterou je třeba řešit. Souhlasíš?
Souhlasím, že je to jedna z velmi důležitých věcí. Také si myslím, že ovládání motoru je velmi důležité a hluboké nervové sítě jsou v tom nyní dobré. Některé nedávné práce ve společnosti Google ukázaly, že můžete ovládat jemnou motoriku a kombinovat to s jazykem, takže můžete otevřít zásuvku a vyjmout blok a systém vám může přirozeným jazykem říct, co dělá.
U věcí, jako je GPT-3, která generuje tento úžasný text, je jasné, že k vytvoření tohoto textu musí hodně rozumět, ale není zcela jasné, jak moc tomu rozumí. Ale pokud něco otevře zásuvku a vyjme blok a řekne: Právě jsem otevřel zásuvku a vyndal blok, je těžké říci, že nerozumí tomu, co dělá.
Oblast umělé inteligence se vždy dívala na lidský mozek jako na svůj největší zdroj inspirace a různé přístupy k umělé inteligenci vycházely z různých teorií v kognitivní vědě. Věříte, že mozek skutečně vytváří reprezentace vnějšího světa, aby mu porozuměl, nebo je to jen užitečný způsob, jak o tom přemýšlet?
Kdysi dávno v kognitivní vědě probíhala debata mezi dvěma myšlenkovými školami. Jednu vedl Stephen Kosslyn a věřil, že když ve své mysli manipulujete s vizuálními obrazy, máte pole pixelů a pohybujete jimi. Druhý myšlenkový směr byl více v souladu s konvenční AI. Řeklo: Ne, ne, to je nesmysl. Jde o hierarchické, strukturální popisy. Ve své mysli máte symbolickou strukturu a to je s čím manipulujete.
Myslím, že oba dělali stejnou chybu. Kosslyn si myslel, že manipulujeme s pixely, protože externí obrázky jsou tvořeny pixely, a to je reprezentace, které rozumíme. Symbol, který si lidé mysleli, že manipulujeme se symboly, protože také reprezentujeme věci v symbolech, a to je reprezentace, které rozumíme. Myslím, že je to stejně špatně. To, co je uvnitř mozku, jsou tyto velké vektory nervové aktivity.
Někteří lidé stále věří, že symbolická reprezentace je jedním z přístupů AI.
Absolutně. Mám dobré přátele, jako je Hector Levesque, který opravdu věří v symbolický přístup a odvedl v něm skvělou práci. Nesouhlasím s ním, ale symbolický přístup je naprosto rozumné vyzkoušet. Ale můj odhad je, že si nakonec uvědomíme, že symboly prostě existují tam venku ve vnějším světě a my provádíme vnitřní operace na velkých vektorech.
Jaký je podle vás váš nejprotikladnější pohled na budoucnost umělé inteligence?
Můj problém je, že mám tyto protichůdné názory a o pět let později jsou mainstreamové. Většina mých protichůdných názorů z 80. let je dnes tak nějak široce přijímána. Teď je docela těžké najít lidi, kteří s nimi nesouhlasí. Takže ano, byl jsem ve svých protichůdných názorech poněkud podkopán.