Akamaiovy algoritmy

Spočítejte si to. Tom Leighton, profesor na MIT's Laboratory for Computer Science, neboli LCS, vlastní téměř 10 milionů akcií společnosti Akamai Technologies, kterou spoluzaložil v srpnu 1998. Loni v říjnu Akamai vstoupil na burzu s cenami na primární veřejné nabídce (IPO ) začíná na 26 USD za akcii; do konce dne investoři nabídli cenu až 145 dolarů za akcii. O měsíc později se akcie prodávaly za 327 dolarů za akcii. Bez ohledu na to, jak velkou úzkost z matematiky můžete mít, pochopíte – z Toma Leightona se stal velmi bohatý muž.

Akademik, jehož odborné znalosti spočívají v paralelních algoritmech a aplikované matematice, Leighton je na první pohled nepravděpodobným kandidátem na úspěšný příběh internetového tweeds-to-riches. Ale při bližším zkoumání to dává dokonalý smysl. Leighton léta zkoumá, jak fungují složité sítě a jak je lze optimalizovat. Takže, když před pěti lety Tim Berners-Lee (vynálezce World Wide Web) přišel do chodby v LCS a hledal způsoby, jak lépe řídit eskalující provoz na internetu, Leighton a jeho parta postgraduálních studentů byli zřejmým místo, kam vstoupit.

Tento příběh byl součástí našeho vydání ze září 2000

• Viz zbytek čísla
• předplatit

Během několika příštích let se Leighton a směs postgraduálních studentů a vysokoškoláků MIT pokusili vymyslet lepší způsob správy a distribuce obsahu přes web. Začátkem roku 1998 se skupina, která zahrnovala postgraduálního studenta Daniela Lewina (který spolu s Leightonem a Jonathanem Seeligem, studentem MIT's Sloan School, dále založila Akamai), přihlásila do soutěže MIT o 50 000 dolarů Entrepreneurship Competition. Tým byl finalistou, ale nevyhrál. Přesto zaklepali venture kapitalisté. A zbytek je historie internetu. Dnes společnost provozuje celosvětovou síť více než 4 000 serverů, které distribuují webový obsah pro takové zákazníky, jako jsou Yahoo!, CNN a C-SPAN; pokud uživatel PC požaduje například streamování videa z webu C-SPAN, systém serverů Akamai pomáhá doručovat tento obsah, čímž se vyhne úzkým místům na centralizovaném webu C-SPAN. Díky distribuované síti je doručování obsahu přes web rychlejší a spolehlivější.

Navzdory tomu, že dosáhl jackpotu IPO, mírně mluvící profesor MIT (v současnosti na dovolené v LCS) vykazuje několik zjevných známek materiálního úspěchu. V novém sídle společnosti Akamai sousedícím s kampusem MIT zaujímá Leighton, hlavní vědecký pracovník společnosti, skromnou rohovou kancelář, která dohlíží na bludiště kójí. Je to do značné míry kancelář profesora a Leighton mluví trpělivými a přesnými slovy někoho, kdo je zvyklý vysvětlovat, jak věci fungují. Hlavní redaktor TR David Rotman nedávno absolvoval lekci o řízení provozu na dnešním internetu.

TR: Kdy vás napadlo, že byste mohli pomocí algoritmů optimalizovat doručování obsahu na webu?
LEIGHTON: Poprvé jsem o internetu přemýšlel v roce 1995. Moje kancelář [na MIT's LCS] je v chodbě od Tima Berners-Lee a Web Consortium. Postupem času jsme hovořili o některých problémech, kterým internet čelí. Toto jsou druhy rozsáhlých síťových problémů, na kterých naše skupina pracovala a o které se dlouhodobě zajímám. Některé z nich jsme tedy převzali jako výzkumné projekty.

TR: V jistém smyslu je internet skutečně největší síťovou výzvou, že?
LEIGHTON: Ano. To je správně.

TR: Jaký byl problém, se kterým jste začínal v roce 1995?
LEIGHTON: Hledali jsme způsoby, jak se vypořádat s flash crowdingem a hot-spottingem. To je místo, kde mnoho lidí najednou přejde na jeden web a zaplaví web a zničí síť kolem něj - a všichni jsou nešťastní.

TR: Můžete vysvětlit technologie, které jste vyvinuli?
LEIGHTON: Dnes jsme pravděpodobně jednou z největších distribuovaných sítí na světě. Na vysoké úrovni poskytujeme obsah nebo zpracováváme aplikace pro koncové uživatele, a to ze serverů, které jsou blízko koncovým uživatelům. Zavřít je něco, co se dynamicky mění v závislosti na podmínkách sítě, výkonu serveru a zatížení. Protože jsme blízko, můžeme se vyhnout mnoha zablokování, zpoždění a ztrátě paketů, které můžete zažít, pokud jste daleko. Dříve jste obvykle měli interakci s centrálním webem. A obvykle to bylo daleko. Nyní máte obvykle mnoho svých interakcí – ne všechny, ale hodně – se serverem Akamai, který je blízko vás a je vybírán v reálném čase.

TR: Jaké jsou triky a výzvy k tomu, aby tento distribuovaný systém fungoval?
LEIGHTON: Je to extrémně těžká oblast; nemůžete jít a prostě tam vyhodit spoustu serverů a nechat je všechny spolupracovat. Samotné servery selžou. Procesory selžou. Internet má nejrůznější své vlastní problémy a způsoby selhání. Takže všechny tyto druhy věcí musí být zabudovány do algoritmického přístupu. Jak vyvinete decentralizovaný algoritmus s nedokonalými informacemi, který bude stále fungovat? To je obrovská výzva. Ale je jasné, co musíte udělat. Nemůžete mít žádný centrální bod selhání, jinak systém spadne. Nedokážu si představit komponentu nebo kus hardwaru, který by v určitém bodě nebo na nějakém místě selhal. Je tedy samozřejmé, [že potřebujete distribuovaný systém].

Když klient přijde k jednomu z našich zákazníků a hledá obsah, musíme zjistit, kde se tento klient nachází, která z našich poboček je v tu chvíli pro klienta nejlepší a jaké jsou podmínky vytížení, abychom cokoliv přetížit. Musíme zvládnout flashové davy, které jsou jak geograficky, tak obsahově specifické. Musíme okamžitě replikovat obsah, abychom zvládli jakýkoli z těchto druhů problémů, ale nemůžete si dovolit mít kopie všeho všude. Musíte učinit tato rozhodnutí a odpovědět klientům v milisekundách. Musíme být automatickí. A když kousky selžou, musíte to automaticky kompenzovat.

TR: Tomu říkáte odolnost vůči chybám?
LEIGHTON: Ano, a musíte být tolerantní vůči chybám ve všech aspektech. Pak jsou tu také věci, které nejsou samozřejmé. Jako vyúčtování. Obsluhujeme miliardy přístupů denně a každý jednotlivý přístup účtujeme. Musíme zjistit, čí to byl obsah a kolik má bajtů, a naúčtovat jim to. Navíc máme službu, kterou nabízíme našim zákazníkům, kde do 60 sekund vidí, kolik zásahů jsme jim za posledních 60 sekund obsloužili. Kromě toho můžeme našim zákazníkům rozdělit, odkud hity pocházejí, podle země nebo státu. Je to náročný algoritmický problém. Jak to vlastně děláš? A aby to fungovalo s omezeným množstvím hardwaru a zdrojů?

TR: Hardware k tomu opravdu není klíčem, že?
LEIGHTON: Není to ani hlavní součást. Nechci snižovat naše hardwarové partnery, ale klíčová je zde algoritmická a softwarová infrastruktura. je to kritické.

TR: Jaká je vaše konkurence v nabídce distribuované sítě pro doručování obsahu?
LEIGHTON: tam toho opravdu moc není. Jsme v době, kdy je spousta podnikatelských plánů a spousta příběhů. Skutečných služeb dnes není mnoho. V podstatě jediným konkurentem v našem prostoru je Digital Island, který nedávno získal Sandpiper [Networks]. Existují další, kteří oznámili [podnikatelské plány], ale zatím provoz aktivně neprovozují. Jedna z věcí, která odlišuje Akamai, je množství výzkumného, ​​inženýrského a výzkumného a vývojového úsilí, které bylo vynaloženo na návrh systému. Není to jen vyhazování hromady krabic. Existují společnosti, které se o to pokusily bez distribuovaného systému. Společnosti, které před dvěma nebo třemi lety oznámily služby založené na tomto přístupu, stále nefungují. Nefungovalo to.

TR: Jaké jsou nadcházející výzvy pro technologii? Jde o rychlejší dodání obsahu?
LEIGHTON: To je součást. Snažíme se splnit slib internetu. Existuje myšlenka, že v souvislosti s internetem probíhá obrovská revoluce. Zároveň je zde frustrace kvůli omezením. Snažíme se, aby byl internet užitečnější. A součástí toho je, že je rychlejší a spolehlivější. Další složkou, do jisté míry související, je umožnění poskytování více obohacujícího a více umožňujícího obsahu. Pokud dokážeme zlepšit streamování a v tomto případě nezáleží tolik na rychlosti, ale na šířce pásma a bez ztráty paketů, získáte na obrazovce mnohem lepší obraz; uděláte s ním více a více lidí jej bude používat k předávání obsahu a informací. A to je neocenitelné při obohacování síly internetu.

Ale ne všechno tlačí bity. Akamai nabízí služby pro funkce, jako jsou internetové konference, které umožňují například dálkové studium. S těmito službami mohou poskytovatelé obsahu nebo podnikoví zákazníci efektivně dodávat obsah a komunikovat s malým nebo velkým publikem na webu prostřednictvím živého zvuku a videa; k dispozici jsou funkce pro sdílení prezentací, dotazování publika a moderování zpráv.

TR: Když zavádíte novou funkci, jako je například konference, jaké nároky to klade na síť?
LEIGHTON: Jak to hodláte implementovat? Jak jej začleníte do této masivní distribuované platformy? Jak to hodláte udržovat pro tisíce zákazníků? Máte tisíce zákazníků a stovky milionů lidí, kteří k těmto zákazníkům přistupují, a my sedíme mezi tím. A to všechno musí fungovat samo. Nemůžete se opičit. Poskytování konferencí zní jednoduše. Ale není to tak jednoduché, když mluvíte o tomto druhu měřítka. Když lidé přemýšlejí o streamování, myslí si o jediném zdroji, odkud obsah pochází, a ten se pak větví do stromu prostřednictvím internetu. Ta místa se mohou porouchat a pak všichni ti lidé po proudu mají smůlu. Vyvinuli jsme zcela nový způsob, jak toho dosáhnout, takže neexistuje žádný kritický bod selhání. Pokud zdroj zemře, pak jste uvízli. Jakmile je však [obsah] mimo zdroj, replikujeme jej a šíříme po celém systému. Takže to není strom.

TR: Jak to vypadá?
LEIGHTON: těžko se to popisuje. Způsob, jak o tom přemýšlet, je, že mezi zdrojem a cílem probíhá několik přenosů, takže můžete ztratit obsah na těchto cestách; můžete mít ztrátu paketů na kterémkoli z nich nebo na všech, ale v koncovém bodě máte dostatek informací přicházejících z těchto míst, takže můžete signál rekonstruovat. Takže pokud se cestou něco zabije, jako je zabitá cesta, nikoho to neovlivní.

TR: Všichni jsme zažili frustraci s videostreamingem. Co se týče technologie, co bude potřeba, aby byla spolehlivější? Kdy budeme moci sledovat webcasty tak snadno jako televizi na celé obrazovce?
LEIGHTON: Aby bylo streamování videa spolehlivější, potřebujete službu distribuce obsahu, která bude bity spolehlivě doručovat na okraj sítě, a pak musíte mít spolehlivé připojení k internetu na poslední míli. Pokud chcete vysoce kvalitní video, pak je lepší mít širokopásmové připojení k internetu. Bude to ještě nějakou dobu trvat, než budete moci plošně získat videostreamy v televizní kvalitě.

Předvedli jsme přímý přenos v megabitech za sekundu. Ve skutečnosti jsme nedávno přenášeli tisíce streamů rychlostí 1 megabit za sekundu živým zákazníkům, kteří přistupovali na hlavní projev konference Steve Jobs [CEO společnosti Apple Computer]. Jedná se o významný milník pro internet. Díky této technologii získáte velmi kvalitní videostream. Pokud je poslední míle širokopásmová, pak jste připraveni jít. Jedna věc, na které pracujeme, je profilování šířky pásma. Cílem je automaticky detekovat šířku pásma poslední míle. Má klient širokopásmové připojení, 28K modem, nebo je to úzkopásmové – mobilní telefon nebo tak něco? V závislosti na tom pak dodáváme obsah. Pokud tedy zjistíte, že klient má velkou šířku pásma, dostane verzi s velkou šířkou pásma – streamovanou verzi na rozdíl od statické verze. Nebo v případě úzké šířky pásma získáte tištěnou verzi na rozdíl od grafiky.

TR: Zdá se, že samotná povaha webu se mění s takovými funkcemi, jako je videostreaming a konference. Na čem bude Akamai pracovat za pět let? Jaký bude podle vás potom internet?
LEIGHTON: Věci se pohybují tak rychle, že je opravdu těžké předvídat. Lidé, kteří se snaží předvídat, nakonec jedí jejich slova. Myslím, že jsme teprve na začátku internetové revoluce. Myslím, že jsme ani nezačali přemýšlet o všech věcech, které můžeme na internetu dělat. Nemohu vám říci, jaká bude horká služba za pět let. Nevím. Doufám, že do té doby bude například kvalita streamování mnohem lepší. Že je to součást každodenního života. Přinejmenším bych očekával, že typický web bude bohatší, efektivnější a spolehlivější než dnes.

TR: Mnozí vás považují za vzor akademika, který se prosadil jako podnikatel v nové ekonomice. Co říkáte těm, kteří chtějí napodobit váš úspěch?
LEIGHTON: Nikdy jsem neměl touhu být podnikatelem. Miluji akademiky a spoluzakladatel Akamai, protože jsme cítili, že je to nejlepší způsob, jak přenést naši technologii z výzkumného prostředí do praxe. Bylo opravdu příjemné vzít technologii, zvláště technologii, z univerzity a změnit ji. To je asi největší odměna. Často trvá 10 až 20 let, než se technologie na univerzitě skutečně projeví v praxi. A tentokrát jsme schopni tento čas dramaticky zkrátit. Jsem naprosto šťastný, že píšu článek, který čte jen pět lidí. Docela chytří lidé to budou číst a mě to nakopne. To je to, čím jsem strávil celý svůj život. Ale tohle je něco, co má šanci něco změnit.

TR: Stýská se vám někdy po dnech, kdy jste, jak říkáte, trávili čas psaním článků, které bylo schopno přečíst a porozumět třeba pěti lidem?
LEIGHTON: Ano, i když nemám moc času o tom přemýšlet.

skrýt