Grid Computing

Bude se historie internetu opakovat?

Možná. V 80. letech vytvořila National Science Foundation NSFnet: komunikační síť, která měla vědeckým výzkumníkům umožnit snadný přístup k jejím novým superpočítačovým centrům. Velmi rychle se připojila jedna menší síť za druhou – a výsledkem byl internet, jak ho nyní známe. Vědci, jejichž potřebám NSFnet původně sloužil, si online masy sotva pamatují.

Rychle vpřed do roku 2002. Letos v létě začne National Science Foundation instalovat hardware pro TeraGrid, transkontinentální superpočítač, který by měl pro výpočetní výkon dělat to, co internet pro dokumenty. Nejprve budou na čtyřech místech zřízeny shluky špičkových mikropočítačů: Národní centrum pro superpočítačové aplikace na University of Illinois v Urbana-Champaign; národní laboratoř Argonne National Laboratory amerického ministerstva energetiky u Chicaga; Caltech v Pasadeně, CA; a San Diego Supercomputer Center na University of California, San Diego. Začátkem příštího roku budou tyto čtyři klastry vzájemně propojeny tak těsně, že se budou chovat jako jeden celek.

Tento virtuální počítač zvládne problémy rychlostí až 13,6 bilionu operací s plovoucí desetinnou čárkou za sekundu, neboli teraflopy, což je osmkrát rychleji než nejvýkonnější akademický superpočítač, který je dnes k dispozici. Taková rychlost umožní vědcům vypořádat se s některými z výpočetně nejnáročnějších úkolů ve výzkumném souboru – od problémů se skládáním proteinů, které budou tvořit základ pro nové návrhy léků, přes klimatické modelování až po odvození obsahu a chování kosmu z astronomických dat.

Ale víc než to, TeraGrid bude ukázkovým příkladem toho, co se stalo známým jako grid computing – masivní integrace počítačových systémů, která nabízí výkon nedosažitelný žádným jediným strojem. Integrace těchto systémů bude tak transparentní, že si uživatelé nevšimnou, že jsou v síti, o nic víc, než motoristé věnují pozornost tomu, který válec v kteroukoli chvíli střílí. Pro lidi, kteří se přihlašují do TeraGrid, bude systém vypadat jako další sada programů běžících na jejich kancelářských počítačích. Ale tento pohled bude klamný: to, co vypadá jako aplikace, které sídlí na místním stolním počítači, mohou být ve skutečnosti nástroje pro analýzu dat běžící na clusteru v San Diegu nebo kousky vizualizačního softwaru v Argonne. Soubory, na kterých uživatelé TeraGrid pracují, se mohou skládat z databází roztroušených po celé zemi a obsahujících tisíce gigabajtů-a.k.a. terabajtů.

Vizionáři gridového počítání doufají, že to bude jen začátek – že 53 milionů dolarů TeraGrid bude katalyzovat novou éru gridového počítání pro masy, stejně jako NSFnet prolomil bariéry, které vedly k rozkvětu internetu. Jen za poslední rok nebo dva byly v Evropě, Asii a Spojených státech oznámeny desítky takových projektů, přičemž pravděpodobně přijdou další. A vývojáři grid computingu se nyní usazují na jediném standardu zvaném Globus Toolkit, který pomůže gridovým projektům, které se vyvíjejí po celém světě, sloučit do celosvětové sítě s možností využití počítače.

Zcela transformační je způsob, jakým Larry Smarr, ředitel Kalifornského institutu pro telekomunikace a informační technologie, shrnuje gridové výpočty. Smarr, známý svou rolí ve vývoji komunikačního systému, který se vyvinul v páteř internetu, říká, že tato technologie je to, k čemu internet v posledních třech desetiletích směřoval. V první fázi, vysvětluje, jsme zvedli dráty a zapojili všechny počítače. Poté jsme s World Wide Web začali využívat všechny online dokumenty. Nyní říká, že s grid computingem se zapojíme do všeho ostatního (viz Planet Internet, TR březen 2002).

To znamená, že uživatelé začnou vnímat internet jako bezproblémový výpočetní vesmír. Softwarové aplikace, databáze, senzory, video a audio streamy – to vše se znovu zrodí jako služby, které žijí v kyberprostoru, skládají se a znovu sestavují za běhu, aby splnily dané úkoly. Po zapojení do sítě bude stolní počítač čerpat výpočetní výkon ze všech ostatních počítačů v síti. To, co vidíme, říká Smarr, je vznik nové infrastruktury, na které bude postavena nejprve věda a poté celá ekonomika.

Výpočetní technika jako nástroj

To je vysoká zakázka. Ale určitě to popisuje naději v IBM, která je hlavním dodavatelem pro TeraGrid, stejně jako pro podobné národní sítě v Evropě. David Turek, viceprezident pro nové technologie pro serverovou skupinu IBM, srovnává grid computing se známou sítí elektrické energie: Chcete-li použít vysoušeč vlasů, stačí jej zapojit do zásuvky, říká. Nemusíte se starat o to, jak je turbína navržena v Niagarských vodopádech, nebo o fyziku přenosu energie. Přesně tak chce Turek, aby lidé přemýšleli o výpočetní síle. V naší vizi budoucnosti, pokud jste zákazník, který občas potřebuje například 10 teraflopů, nekupujte stroj, který je většinu času nevyužitý; koupit to ze sítě. Grid computing tedy bude hrát roli v naší vizi výpočetní techniky jako nástroje.

Zatímco společnosti jako IBM by budovaly rozsáhlé gridy, Turek říká, že mnoho uživatelů bude chtít nastavit gridy vlastní. Můžete vidět 10 až 20 oddělení, která se spojí, aby vytvořila celoškolní nebo celopodnikovou síť, z nichž každé přispívá určitou částí počítačového výkonu, který řídí, říká. V jiném scénáři by několik nezávislých společností, jako jsou dodavatelé v oblasti obrany, mohlo udělat v podstatě totéž, aby vytvořilo virtuální organizace – sítě ad hoc, které by jim umožnily vzájemně používat vlastní data a software k přípravě, řekněme, návrhu na novou armádu. letadlo. To je důvod, proč nebudeme podporovat grid jako něco, co lze udělat pouze s technologií IBM, vysvětluje Turek. Koneckonců, říká, že pokud se pět společností chce spojit na gridu, pravděpodobnost, že všech pět bude mít stejné servery, je velmi malá.

A to, dodává Turek, je krása Globus Toolkit: sada softwarových nástrojů s otevřeným zdrojovým kódem, které se rychle objevují jako de facto standard pro grid computing, v podstatě stejným způsobem jako protokol pro přenos hypertextu neboli HTTP. standard pro spojování dokumentů na webu. Rostoucí akceptace Globusu je skutečně z velké části zodpovědná za dnešní vlnu nadšení z gridových počítačů.

Cílem je nechat síť poskytovat základní mechanismy pro přesun dat, zatímco Globus poskytuje mechanismy pro sdílení zdrojů, vysvětluje Carl Kesselman z Institutu informačních věd University of Southern California. Kesselman vyvíjel Globus Toolkit posledních pět let ve spolupráci s Ianem Fosterem – počítačovým vědcem z University of Chicago, který vede laboratoř distribuovaných systémů Argonne.

Mechanismy, které Globus poskytuje, jsou pro provoz výpočetní sítě stejně zásadní jako semafory pro městský provoz. Jedna sada softwarových nástrojů Globus se například automaticky vymezí tam, kde na mřížce lze nalézt požadovanou databázi nebo program. Jiné nástroje umožňují jednorázové přihlášení, takže uživatel není neustále žádán o hesla pro web po webu. Ještě jiní rozdělují výpočetní úlohu na více dílčích úloh a rozdělí je mezi různé systémy na mřížce. A co je nejdůležitější, Globus poskytuje nástroje pro implementaci zabezpečení, které například zajišťuje, že externí program, který se snaží interagovat s vaším počítačem, slouží legitimnímu účelu a nebyl odeslán nějakým zákeřným hackerem.

Nic z toho samozřejmě není úplně nové: Stojí za to připomenout, poznamenává Kesselman, že ARPAnet [vojenský předchůdce internetu] byl vybudován v 60. letech, aby uživatelům na jednom kampusu umožnil sdílený přístup ke zdrojům na jiném kampusu. Podobně zdůrazňuje, že metody pro rozdělení výpočetních úloh na menší kousky pro více strojů byly trvalým tématem výzkumu v 70. a 80. letech 20. století.

Ale teprve v 90. letech, říká Kesselman, rychle rostoucí výkon počítačů a sítí přinesl tento trend, známý jako distribuované počítání, z laboratoří. Jedním z výsledků byla záplava experimentů v tom, co je nyní známé jako výpočet peer-to-peer, všechny byly tak či onak věnovány využití výpočetního výkonu a úložné kapacity nečinných stolních počítačů. Mezi nejznámější z těchto snah patří Napster, systém pro sdílení hudebních souborů MP3 aSETI @ home, ve kterém jsou data radioteleskopu z projektu hledání mimozemské inteligence distribuována do počítačů přes internet.
Ve stejné době však komunita vysoce výkonných počítačů zahájila sérii méně propagovaných, ale mnohem ambicióznějších experimentů v oblasti metapočítačů. Cílem bylo, aby mnoho distribuovaných počítačů fungovalo jako jeden obří počítač. Klávesnice a displej metamachinu by jako obvykle seděly na něčí ploše. Ale jeho centrální procesor může být ve skutečnosti superpočítač v Illinois, řekněme, zatímco jeho grafický procesor může být pohlcujícím zařízením virtuální reality v Kalifornii. Fungovalo to, říká Kesselman – jediným problémem bylo, že experimentátoři museli pokaždé znovu vynalézat kolo. Stále neexistoval žádný standardní software pro distribuované výpočty, říká, žádná infrastruktura, která by jej podporovala.

Přelomová událost technologie přišla v roce 1995 na superpočítačové konferenci sponzorované Institutem elektrických a elektronických inženýrů a Asociací pro výpočetní stroje. Tam bylo 11 samostatných vysokorychlostních sítí nakrátko propojeno do jednoho obřího metapočítače v ukázce nazvané I-Way. Účastníci kongresového centra v San Diegu si mohli hrát s interaktivním modelem ekosystému Chesapeake Bay nebo se simulací srážejících se spirálních galaxií ve vysokém rozlišení – celkem asi 60 aplikací. Foster, který vedl tým, který vytvořil část základního softwaru systému, byl obzvláště ohromen potenciálním využitím I-Way v kolaborativním designu. Při jedné demonstraci, vzpomíná, se výzkumníci z Argonne spojili s průmyslovými skupinami Nalco Fuel Tech, aby vytvořili simulaci virtuální reality pro navrhování spaloven. Uživatelé na různých místech mohli společně prolétnout spalovnou, umístit do ní injektory na různá místa a společně studovat vliv na její výkon, vzpomíná.

Demonstrace měla zamýšlený účinek. I-Way přesvědčil lidi, že gridové výpočty mají velký potenciál, říká Foster. Jedním z důležitých přínosů bylo, že v říjnu 1996 americká Agentura pro pokročilé obranné výzkumné projekty financovala Kesselmanův a Fosterův projekt Globus, který měl poskytnout pevný základ pro grid computing. Na superpočítačové konferenci v roce 1997 Foster a Kesselman demonstrovali grid s asi 80 místy po celém světě provozujícím software Globus – další počin, který podle Fostera přesvědčil lidi, že grid computing stojí za to a je skutečný. V té chvíli tomu navíc Foster a Kesselman dokonce začali říkat grid computing a hráli na analogii s elektrickou sítí.

Fyzika a dál

Jakmile byl tento koncept představen, zdálo se, že gridové výpočty najednou naplnily potřeby vědců po celém světě. Například v Ženevě již plánovala vysokoenergetická fyzikální laboratoř Evropské organizace pro jaderný výzkum (známá pod zkratkou CERN) svůj urychlovač částic nové generace, Large Hadron Collider – úsilí slibující generovat ohromné ​​množství data. Odhadli jsme, že když se urychlovač v roce 2006 rozběhl, vyprodukoval by 8 až 10 petabajtů dat o srážkách částic ročně, říká Fabrizio Gagliardi, ředitel každoročního semináře CERN o počítačích pro fyziky. To jsou petabajty-miliony gigabajtů.

Části této obrovské datové zátěže by musely být distribuovány institucím po celém světě, které se účastní experimentů v CERNu. A protože nejzajímavější fyziku lze nalézt v těch nejvzácnějších událostech, vysvětluje Gagliardi, vědci by zpracovávali každý kousek těchto dat mnoha způsoby – hledali by náznaky teoreticky předpovězeného, ​​ale nepolapitelného Higgsova bosonu, řekněme, nebo částic, které mají tajemná kvalita známá jako supersymetrie. Stručně řečeno, urychlovač předznamenal obrovský problém správy dat, pro který se stávající počítačové systémy zdály nedostatečné. Definovali jsme výpočetní architekturu pro to, co bychom potřebovali, vzpomíná Gagliardi. Pak jsme šli nakupovat systém nástrojů k jeho sestavení – a zjistili jsme, že počítačoví vědci už přišli s řešením.

Vlastně několik řešení. Na University of Virginia pracoval počítačový vědec Andrew Grimshaw od roku 1993 na atraktivní a dobře promyšlené sadě protokolů grid computingu známé jako Legion. (Legion nyní prodává Avaki z Cambridge, MA, kterou Grimshaw založil.) Ale Globus měl tu výhodu, že byl otevřený: v zájmu co nejširšího a co nejrychlejšího přijetí se Foster a Kesselman rozhodli napodobit vývojáři dnes známého operačního systému Linux a zpřístupnit zdrojový kód Globusu všem uživatelům, kteří si jej přejí, aby jej mohli studovat, experimentovat a navrhovat vylepšení.

Výsledkem bylo, že Globus se stal základem pro European DataGrid, tříletý projekt demonstrace a vývoje softwaru, který byl zahájen 1. ledna 2001 se závazkem Evropské unie ve výši 13,5 milionů eur (zhruba 12 milionů USD). Podle Gagliardiho, nyní ředitele DataGrid, měl DataGrid na začátku roku 2002 v CERNu více než 100 počítačů-20, ostatní na místech po celém kontinentu. Projekt se také rozšířil mimo částicovou fyziku a zahrnul další dvě vědecké disciplíny, které čelí podobně skličujícím výzvám v oblasti zpracování dat: pozorování Země a biologii.

Mezitím si gridové výpočty našly mezi vědci ve Spojených státech ještě vřelejší přijetí – Globus je opět volbou prakticky každého velkého projektu. Jednou z prvních, která začala, byla síť Grid Physics Network. Toto úsilí, organizované Fosterem a fyzikem z Floridské univerzity Paulem Averym, bylo zahájeno v září 2000 s 11,9 miliony dolarů od National Science Foundation. Zaměřuje se na obrovské množství fyzických dat generovaných čtyřmi různými zdroji: dvěma specializovanými detektory částic umístěnými ve Velkém hadronovém urychlovači; laser Interferometer Gravitational Wave Observatory, spolupráce Caltech-MIT, která bude detekovat gravitační vlny z pulsarů a podobně; a Sloan Digital Sky Survey, mezinárodní úsilí o zmapování nejslabších možných hvězd a galaxií – celkem více než 100 milionů nebeských těles. Mezi novější iniciativy patří síť NSF Network for Earthquake Engineering Simulation grid, snaha o integraci pozorování a počítačových simulací, které jsou nyní rozptýleny mezi asi 20 různými laboratořemi, s cílem vytvořit efektivnější návrhy konstrukcí odolných vůči zemětřesení.

A teď je tu samozřejmě mřížka TeraGrid – mřížka, kde si dejte své peníze tam, kde jsou vaše ústa, jak tomu říká Charles Catlett z Argonne. Mluvili jsme roky, říká Catlett, výkonný ředitel projektu. Ale aby TeraGrid dosáhl toho, co slibuje, vysoce výkonné mikropočítačové clustery umístěné na jeho čtyřech fyzických místech budou muset být propojeny vyhrazenou sítí běžící rychlostí 40 gigabitů za sekundu, která bude přímo na okraji státu. umění. To nám hodně ukáže, jak software skutečně funguje v produkčním prostředí, říká Catlett. Mluví o softwaru Globus, internetových protokolech, operačním systému Linux – o tom všem.

Co se týče technické stránky, říká Catlett, jednou z velkých výzev je zajistit, aby se Globus mohl úspěšně rozšiřovat. Je důležité, poznamenává, zajistit, aby služby a protokoly Globusu dokázaly pracovat se stovkami nebo tisíckrát více zařízeními, než zvládají nyní. Očividně, souhlasí Foster, je ještě spousta věcí, které je třeba udělat.

Pak je tu obchodní stránka. Grid computing zde naráží na stejnou otázku, která potopila tolik přehnaně optimistických dot com: jak se z této technologie vydělají peníze? Pokud je výpočetní technika nástroj, říká Foster, kdo zaplatí za infrastrukturu? Za jaké služby jsou lidé ochotni platit? Konkrétně, kde je zabijácká aplikace, aplikace, kterou musíte mít, která bude řídit růst grid computingu tak, jako tabulkový procesor dělal osobní počítače? Většina současných gridových projektů sotva překonala fázi jestli-budeme-to-oni-přijdou.

Na druhou stranu, říká Foster, máme nějaké nápady. Jedním z pozoruhodných příkladů je Access Grid, systém vyvinutý společností Argonne, stejně jako mnoho dalších v gridových výpočtech, na Globusu – který podporuje rozsáhlá setkání na více místech přes internet, stejně jako přednášky a společné pracovní sezení. Již nyní propojuje více než 80 akademických a průmyslových stránek po celém světě. Navíc, říká Foster, jak se stále více a více velkých vědeckých projektů, jako je TeraGrid a DataGrid, dostává do provozu, existuje každý důvod si myslet, že budou sloužit jako laboratoře pro nové gridové aplikace, které si poté proniknou do komerčního světa s obrovským dopad. Koneckonců, internetová zabijácká aplikace, World Wide Web, nepocházela z podnikové laboratoře. Vyšlo to z CERNu.

Mřížka odemčena

I když web může být těžké sledovat, zastánci gridového počítání dláždí cestu pro očekávanou komercializaci této technologie tím, že se zaměřují na tak zapeklitá témata, jako je stanovování standardů. Pamatujte, jak moc jsme získali ze skutečnosti, že každý počítač používá internetový protokol, říká Foster. Aby bylo dosaženo stejné univerzálnosti pro grid computing, spojila se americká gridová komunita s komunitou v Evropě a Asii a vytvořila Global Grid Forum – organizaci podle vzoru internetového standardizačního orgánu Internet Engineering Task Force. Cílem fóra je zajistit, aby Globus, Legion a jakékoli další gridové protokoly mohly bezproblémově spolupracovat. Pokud každý počítač používá standardní metody pro správu autentizace, autorizace, popisu možností zdrojů a vyjednávání přístupu ke zdrojům, říká Foster, je to velká výhra.

Průkopníci gridu rovněž budují aliance se svými protějšky v komerčním peer-to-peer computingu. V praxi se však snahy peer-to-peer jeví jako nejúčinnější u problémů, které lze snadno rozdělit na nesčetné množství malých, nezávislých částí – kategorie, která obvykle nezahrnuje, řekněme, složité fyzikální simulace a aplikace s virtuálním ponořením. grid computing opravdu září. Nicméně Foster říká, že potenciál pro synergii je jasný. Proto byly protokoly Globus již integrovány do takových průmyslových systémů peer-to-peer, jako jsou protokoly Condor vyvinuté na University of Wisconsin-Madison a platforma Entropia z Entropia v San Diegu, přičemž oba jsou navrženy tak, aby zachytily nevyužitá kapacita síťových pracovních stanic organizace.

Odměnou za takové úsilí je, že počítačový průmysl nyní, jak se zdá, bere grid computing skutečně velmi vážně – nejpozoruhodnějším příkladem je IBM. Loni v srpnu, ve stejnou dobu, kdy Big Blue vyhrála kontrakt na vybudování národních gridů ve Spojeném království a Nizozemsku a také TeraGrid ve Spojených státech, oznámila, že umožní grid-umožňovat mnoho svých serverových systémů. Tato iniciativa, která by znamenala, že servery v mnoha institucích a organizacích by mohly být rychle a snadno zapojeny do gridových sítí, byla údajně stejně velká nebo větší než závazek IBM vůči Linuxu, který již činil zhruba 1 miliardu dolarů. (Společnost IBM již použila Globus k propojení vlastních výzkumných a vývojových laboratoří ve Spojených státech, Izraeli, Švýcarsku a Japonsku.)

IBM však není zdaleka sama. Loni v listopadu osm dalších výrobců počítačů – Compaq, Cray, Silicon Graphics, Sun Microsystems a Veridian ve Spojených státech spolu s Fujitsu, Hitachi a NEC v Japonsku – oznámilo, že implementují sadu Globus Toolkit na svých strojích jako standardní platformu pro grid computing. Podle Todda Needhama, manažera skupiny University Research Programs tohoto softwarového giganta, pak začátkem tohoto roku Microsoft dokončil smlouvu s Argonne na překlad stávající sady Globus Toolkit do Windows XP.

Když už nic jiného, ​​krok Microsoftu by měl urychlit den, kdy se domácí a kancelářské počítače budou moci připojit k gridu po milionech pouhým zapojením. Ale možná stejně výrazně symbolizuje také rychle se rozvíjející alianci mezi grid computingem a webem. Services, podobná technologie, která se objevila nezávisle během několika posledních let a byla přijata v mírně odlišných formách mimo jiné společnostmi Microsoft, IBM a Sun. Stejně jako grid computing se myšlenka webových služeb točí kolem budoucích softwarových aplikací, které jsou vytvářeny za běhu z programů a dat žijících na internetu, nikoli z uživatelského počítače. Hlavním rozdílem mezi touto myšlenkou a grid computingem je to, že software webových služeb má tendenci být mnohem těsněji svázán s protokoly World Wide Web a také s webovými standardy, jako je XML.

Znovu však, jak naznačuje objetí Globusu Microsoftem a IBM, potenciál pro synergii je zřejmý. V lednu Foster, Kesselman, Jeffrey Nick z IBM a Steven Tuecke z Argonne navrhli architekturu Open Grid Services, která by tyto dva přístupy integrovala, a oznámili, že tento rámec bude implementován jako verze 3.0 sady Globus Toolkit. IBM, Microsoft, Platform Computing, Entropia a Avaki oznámily podporu nové architektury a další společnosti budou následovat.
A v budoucnu? Historie se skutečně bude opakovat, prohlašuje zastánce gridového počítání Smarr – až na to, že exploze gridové aktivity může velmi dobře zastínit i boom internetu v 90. letech. V budoucnosti, kterou představil Smarr, budou mřížky všech velikostí vzájemně propojeny. Supernody, jako je TeraGrid, budou síťovými clustery superpočítačů sloužících uživatelům v národním nebo mezinárodním měřítku. Větší počet uzlů střední velikosti bude využívat software, jako je Entropia, k využití výkonu více stolních a přenosných počítačů. Pokud jsou TeraGrid a další supernody jako centrální elektrické elektrárny, vysvětluje Smarr, tyto menší uzly budou jako kolektory sluneční energie, které zachycují rozptýlený, ale obrovský zdroj.

Ještě početnější budou miliony jednotlivých uzlů: osobní stroje, které uživatelé zapojují do sítě, aby podle potřeby čerpali její energii. Pokud by se, řekněme, členové občanské skupiny obávali navrhovaného vývojového projektu, mohli použít mřížku ke spuštění stejných simulací, které používali vývojáři a vládní úředníci. Tímto způsobem mohli snadno vidět vliv rozvoje na vše od podzemní vody přes dopravní vzorce až po zaměstnanost. Pomocí technologií tele-imerze na bázi sítě mohli občané dokonce projít simulovaným projektem a získat realistickou představu o tom, jaké by to bylo být tam.
A díky bezdrátové revoluci budou mikrouzly všude. Díky miniaturizaci komponent, říká Smarr, budeme mít miliardy koncových bodů, kterými jsou senzory, akční členy a vestavěné procesory. Budou ve všem, budou monitorovat stres na mostech, monitorovat životní prostředí – v konečném důsledku budou dokonce v našich tělech, monitorovat naše srdce.

A to je důvod, proč nyní musíme položit pevný základ pro rozvodnou síť, zabudovat zabezpečení a vše ostatní od začátku. Nemůžeme to udělat jako dodatečný nápad, říká. Planeta sestavuje síťovou infrastrukturu, na které bude žít po zbytek 21. století.

skrýt