Vysoce výkonná a nízkonákladová infrastruktura strojového učení urychluje inovace v cloudu

Poskytuje Webové služby Amazon

Umělá inteligence a strojové učení (AI a ML) jsou klíčové technologie, které organizacím pomáhají vyvíjet nové způsoby, jak zvýšit prodej, snížit náklady, zefektivnit obchodní procesy a lépe porozumět svým zákazníkům. AWS pomáhá zákazníkům urychlit přijetí AI/ML tím, že poskytuje výkonné výpočetní, vysokorychlostní sítě a škálovatelné vysoce výkonné úložné možnosti na vyžádání pro jakýkoli projekt strojového učení. To snižuje překážku vstupu pro organizace, které chtějí přijmout cloud pro škálování svých aplikací ML.

Vývojáři a datoví vědci posouvají hranice technologie a stále více přijímají hluboké učení, což je typ strojového učení založeného na algoritmech neuronových sítí. Tyto modely hlubokého učení jsou větší a propracovanější, což má za následek rostoucí náklady na provoz základní infrastruktury pro školení a nasazení těchto modelů.

Aby zákazníci mohli urychlit transformaci AI/ML, vytváří AWS vysoce výkonné a levné čipy pro strojové učení. AWS Inferentia je první čip pro strojové učení vytvořený od základů společností AWS pro nejlevnější odvození strojového učení v cloudu. Instance Amazon EC2 Inf1 založené na Inferentia ve skutečnosti poskytují 2,3x vyšší výkon a až o 70 % nižší náklady na strojové učení než instance EC2 založené na GPU současné generace. AWS Trainium je druhý čip pro strojové učení od AWS, který je účelově vytvořen pro trénování modelů hlubokého učení a bude k dispozici koncem roku 2021.

Zákazníci napříč odvětvími nasadili své aplikace ML do produkce na Inferentia a zaznamenali výrazné zlepšení výkonu a úspory nákladů. Platforma zákaznické podpory AirBnB například umožňuje inteligentní, škálovatelné a výjimečné služby pro komunitu milionů hostitelů a hostů po celém světě. Použila instance EC2 Inf1 založené na Inferentia k nasazení modelů zpracování přirozeného jazyka (NLP), které podporovaly její chatboty. To vedlo k dvojnásobnému zlepšení výkonu hned po vybalení oproti instancím založeným na GPU.

Díky těmto inovacím v oblasti křemíku umožňuje AWS zákazníkům snadno trénovat a realizovat své modely hlubokého učení ve výrobě s vysokým výkonem a propustností při výrazně nižších nákladech.

Strojové učení zpochybňuje přesun rychlosti do cloudové infrastruktury

Strojové učení je iterativní proces, který vyžaduje, aby týmy rychle sestavovaly, trénovaly a nasazovaly aplikace a také často trénovaly, přeškolovaly a experimentovaly, aby se zvýšila přesnost předpovědí modelů. Při nasazování vyškolených modelů do svých podnikových aplikací musí organizace také škálovat své aplikace, aby sloužily novým uživatelům po celém světě. Musí být schopny obsluhovat více požadavků přicházejících současně s latencí téměř v reálném čase, aby byla zajištěna vynikající uživatelská zkušenost.

Nové případy použití, jako je detekce objektů, zpracování přirozeného jazyka (NLP), klasifikace obrázků, konverzační umělá inteligence a data časových řad, spoléhají na technologii hlubokého učení. Modely hlubokého učení exponenciálně narůstají co do velikosti a složitosti a během několika let přecházejí z milionů parametrů na miliardy.

Školení a nasazení těchto složitých a sofistikovaných modelů se promítá do značných nákladů na infrastrukturu. Náklady se mohou rychle stát neúnosně velkými, protože organizace přizpůsobují své aplikace tak, aby svým uživatelům a zákazníkům poskytovaly zážitky téměř v reálném čase.

Zde mohou pomoci cloudové služby infrastruktury strojového učení. Cloud poskytuje přístup na vyžádání k výpočetním výkonům, vysoce výkonným sítím a velkým datovým úložištím, hladce v kombinaci s operacemi ML a službami AI vyšší úrovně, což organizacím umožňuje okamžitě začít a škálovat své iniciativy AI/ML.

Jak AWS pomáhá zákazníkům urychlit jejich transformaci AI/ML

Cílem AWS Inferentia a AWS Trainium je demokratizovat strojové učení a zpřístupnit jej vývojářům bez ohledu na zkušenosti a velikost organizace. Design Inferentia je optimalizován pro vysoký výkon, propustnost a nízkou latenci, díky čemuž je ideální pro nasazení ML inference ve velkém měřítku.

Každý čip AWS Inferentia obsahuje čtyři jádra NeuronCores, která implementují vysoce výkonný systolický maticový multiplikační engine, který výrazně urychluje typické operace hlubokého učení, jako je konvoluce a transformátory. NeuronCores jsou také vybavena velkou vyrovnávací pamětí na čipu, která pomáhá omezovat přístupy k externí paměti, snižuje latenci a zvyšuje propustnost.

AWS Neuron, sada pro vývoj softwaru pro Inferentia, nativně podporuje přední rámce ML, jako jsou TensorFlow a PyTorch. Vývojáři mohou nadále používat stejné rámce a nástroje pro vývoj životního cyklu, které znají a milují. U mnoha svých trénovaných modelů je dokážou zkompilovat a nasadit na Inferentia změnou jediného řádku kódu bez dalších změn kódu aplikace.

Výsledkem je vysoce výkonné inferenční nasazení, které lze snadno škálovat a přitom udržet náklady pod kontrolou.

Sprinklr, společnost poskytující software jako službu, má platformu pro správu jednotného zákaznického dojmu řízenou umělou inteligencí, která společnostem umožňuje shromažďovat a převádět zpětnou vazbu od zákazníků v reálném čase napříč různými kanály do praktických poznatků. Výsledkem je proaktivní řešení problémů, lepší vývoj produktů, lepší marketing obsahu a lepší služby zákazníkům. Sprinklr použil Inferentia k nasazení svého NLP a některých svých modelů počítačového vidění a zaznamenal výrazné zlepšení výkonu.

Několik služeb Amazonu také nasazuje své modely strojového učení na Inferentia.

Amazon Prime Video využívá modely počítačového vidění ML k analýze kvality videa živých událostí, aby byla zajištěna optimální divácká zkušenost pro členy Prime Video. Nasadila své modely ML s klasifikací obrazu na instance EC2 Inf1 a zaznamenala čtyřnásobné zlepšení výkonu a až 40% úsporu nákladů ve srovnání s instancemi založenými na GPU.

Dalším příkladem je AI a ML založená inteligence Amazon Alexa, poháněná webovými službami Amazon, která je dnes k dispozici na více než 100 milionech zařízení. Alexa zákazníkům slibuje, že je stále chytřejší, konverzační, proaktivnější a ještě příjemnější. Splnění tohoto slibu vyžaduje neustálé zlepšování doby odezvy a nákladů na infrastrukturu strojového učení. Nasazením modelů text-to-speech ML společnosti Alexa na instance Inf1 se podařilo snížit latenci odvození o 25 % a cenu za odvození o 30 % a zlepšit tak zážitek ze služeb pro desítky milionů zákazníků, kteří používají Alexu každý měsíc.

Uvolnění nových možností strojového učení v cloudu

Jak se společnosti předhánějí v tom, aby zajistily budoucnost svého podnikání tím, že umožní nejlepší digitální produkty a služby, žádná organizace nemůže zaostávat v nasazení sofistikovaných modelů strojového učení, které jim pomohou inovovat zkušenosti zákazníků. Během několika posledních let došlo k enormnímu nárůstu použitelnosti strojového učení pro různé případy použití, od personalizace a predikce odchodu až po detekci podvodů a prognózování dodavatelského řetězce.

Naštěstí infrastruktura strojového učení v cloudu uvolňuje nové možnosti, které dříve nebyly možné, a díky tomu je mnohem dostupnější pro neodborníky. To je důvod, proč zákazníci AWS již používají instance Amazon EC2 Inf1 založené na Inferentia, aby poskytovali inteligenci, která stojí za jejich doporučovacími motory a chatboty, a získali užitečné informace ze zpětné vazby od zákazníků.

Díky možnostem cloudové infrastruktury strojového učení AWS vhodné pro různé úrovně dovedností je jasné, že jakákoli organizace může urychlit inovace a pojmout celý životní cyklus strojového učení ve velkém. Vzhledem k tomu, že strojové učení je stále všudypřítomnější, jsou nyní organizace schopny zásadně transformovat zákaznickou zkušenost – a způsob, jakým podnikají – pomocí nákladově efektivní, vysoce výkonné cloudové infrastruktury strojového učení.

Zjistěte více o tom, jak může platforma strojového učení AWS pomoci vaší společnosti inovovat tady .

Tento obsah vytvořila společnost AWS. Nenapsala to redakce MIT Technology Review.

skrýt