Claude Shannon: Neochotný otec digitálního věku

Vezměte si oblíbené CD. Teď to pusťte na podlahu. Potřete ho otisky prstů. Poté jej zasuňte do slotu na přehrávači – a poslouchejte, jak hudba vychází stejně křišťálově čistá jako v den, kdy jste poprvé otevřeli plastové pouzdro. Než budete pokračovat ve zbytku dne, věnujte chvíli přemýšlení muži, jehož revoluční myšlenky umožnily tento zázrak: Claude Elwood Shannon.

Shannon, který zemřel v únoru po dlouhé nemoci, byl jedním z největších obrů, kteří vytvořili informační věk. John von Neumann, Alan Turing a mnoho dalších vizionářů nám dali počítače, které uměly zpracovávat informace. Ale byl to Claude Shannon, kdo nám dal moderní koncept informací – intelektuální skok, který mu vynesl místo na jakémkoli high-tech ekvivalentu Mount Rushmore, který se jednoho dne zavede.

Tento příběh byl součástí našeho vydání z července 2001

• Viz zbytek čísla
• předplatit

Celá věda o teorii informace vyrostla z jednoho elektrizujícího článku, který Shannon publikoval v roce 1948, když byl 32letým výzkumníkem v Bell Laboratories. Shannon ukázal, jak lze s absolutní přesností definovat a kvantifikovat kdysi vágní pojem informace. Prokázal základní jednotu všech informačních médií a poukázal na to, že text, telefonní signály, rádiové vlny, obrázky, film a každý jiný způsob komunikace lze zakódovat do univerzálního jazyka binárních číslic nebo bitů – termín, kterým byl jeho článek první použít v tisku. Shannon předložil myšlenku, že jakmile se informace stanou digitální, mohou být přenášeny bez chyby. Byl to dechberoucí koncepční skok, který vedl přímo k tak známým a robustním objektům, jako jsou CD. Shannon napsal plán pro digitální věk, říká teoretik informací z MIT Robert Gallager, který je stále ohromen novinami z roku 1948.

A to ani nepočítám diplomovou práci, kterou Shannon napsal o 10 let dříve – tu, kde formuloval principy všech moderních počítačů. Claude udělal tolik pro umožnění moderní technologie, že je těžké vědět, kde začít a kde skončit, říká Gallager, který se Shannonem spolupracoval v 60. letech. Měl tak úžasně jasné vidění. Einstein ji měl také – tuto schopnost postavit se komplikovanému problému a najít správný způsob, jak se na něj dívat, takže věci jsou velmi jednoduché.

Hraní směrem k zítřku

Pro Shannona to byl jen další způsob zábavy. Claude se rád smál a snil o věcech, které byly neobvyklé, říká matematik z Bellových laboratoří v důchodu David Slepian, který byl v 50. letech Shannonovým spolupracovníkem. Shannon se pustil do matematiky jako jevištní kouzelník, který si procvičuje svůj obrat: kroužil kolem a útočil na problém ze směru, který by vás nikdy nenapadl, říká Slepian, aby vás ohromil odpovědí, která byla přímo před vámi. tvář po celou dobu. Ale pak měl Shannon také velký repertoár skutečných karetních triků. Naučil se jezdit na jednokolce a proslavil se tím, že na ní v noci jezdil po chodbách Bellových laboratoří a přitom žongloval. (Na vysoké škole byl gymnastou, takže v tom byl lepší, než byste si mysleli, říká jeho žena Betty, která mu v roce 1949 dala cyklus jako vánoční dárek.)

Shannon doma trávil svůj volný čas stavbou nejrůznějších bizarních strojů. Existoval Throbac (spořivý římský počítač se zpětným pohledem na číslice), kalkulačka, která prováděla aritmetiku s římskými číslicemi. Existoval Theseus, mechanická myš v životní velikosti, která si dokázala najít cestu bludištěm. A možná nejslavnější byl Ultimate Machine – krabice s velkým vypínačem na boku. Zapněte vypínač a víko se pomalu zvedlo a odhalilo mechanickou ruku, která by sáhla dolů, vypnula vypínač a vytáhla a nechala krabici tak, jak byla.

Vždy mě zajímalo stavět věci vtipnými pohyby, vysvětlil Shannon v roce 1987 v rozhovoru pro časopis Omni (jeden z mála případů, kdy mluvil o svém životě veřejně). Vzpomínal, že ve svém rodném městě Gaylord v severním Michiganu strávil svá raná léta sestavováním modelů letadel, rádiových obvodů, rádiem řízených modelů lodí a dokonce i telegrafního systému. A když v roce 1932 vstoupil na University of Michigan, neváhal se specializovat na elektrotechniku.

Po promoci v roce 1936 šel Shannon přímo na MIT, aby zaujal pracovní místo, které viděl inzerované na pohlednici přilepené na nástěnce kampusu. Polovinu času měl strávit magisterským studiem elektrotechniky a druhou polovinu prací jako laboratorní asistent pro průkopníka počítačů Vannevara Bushe, viceprezidenta MIT a děkana inženýrství. Bush svěřil Shannonovi odpovědnost za diferenciální analyzátor, propracovaný systém ozubených kol, kladek a tyčí, který zabíral většinu velké místnosti – a který byl v té době pravděpodobně nejmocnějším výpočetním strojem na planetě ( vidět Computing After Silicon , TR květen/červen 2000 ).

Diferenciální analyzátor, vytvořený Bushem a jeho studenty na konci dvacátých let a dokončený v roce 1931, byl analogový počítač. Nepředstavovaly matematické proměnné s jedničkami a nulami, jak to dělají digitální počítače, ale nepřetržitý rozsah hodnot: fyzickou rotaci tyčí. Shannonovým úkolem bylo pomoci hostujícím vědcům naprogramovat jejich problémy na analyzátoru přeskupením mechanických vazeb mezi tyčemi tak, aby jejich pohyby odpovídaly příslušným matematickým rovnicím.

Shannon si nemohl přát práci, která by lépe vyhovovala jeho zálibě v vtipných pohybech. Obzvláště ho přitahoval úžasně komplikovaný řídicí obvod analyzátoru, který sestával z asi stovky relé-spínačů, které bylo možné automaticky rozepínat a zavírat elektromagnetem. Ale to, co ho zvláště zaujalo, bylo, jak moc se činnost relé podobala fungování symbolické logiky, předmětu, který právě studoval během posledního ročníku v Michiganu. Každý spínač byl buď sepnutý nebo otevřený - volba, která tomu odpovídala
přesně na binární volbu v logice, kde byl výrok buď pravdivý, nebo nepravdivý. Shannon si navíc rychle uvědomil, že spínače kombinované v obvodech mohou provádět standardní operace symbolické logiky. Analogie zjevně nebyla nikdy předtím rozpoznána. Shannon z toho tedy udělal předmět své diplomové práce a většinu roku 1937 strávil vymýšlením důsledků. Později řekl tazateli, že ho to bavilo víc než cokoli jiného v mém životě.

Pravda nebo lež?

Jeho dizertační práce, Symbolická analýza reléových a spínacích obvodů, je jistě poutavým čtením, zejména vzhledem k tomu, co se stalo za více než 60 let od jejího napsání. Jako stranou ke konci například Shannon poukázal na to, že logické hodnoty true a false mohou být stejně dobře označeny numerickými číslicemi 1 a 0. Tato realizace znamenala, že relé mohla provádět tehdejší tajemné operace binární aritmetiky. . Shannon napsal, že je tedy možné provádět složité matematické operace pomocí reléových obvodů. Pro ilustraci Shannon ukázal návrh obvodu, který by mohl sčítat binární čísla.

Ještě důležitější je, že Shannon si uvědomil, že takový obvod může také provádět srovnání. Viděl možnost zařízení, které by mohlo mít alternativní průběh akce podle okolností – jako v případě, že číslo X se rovná číslu Y, pak se provede operace A. Shannon ve své práci jednoduchou ilustraci této možnosti ukázal, jak přenos spínače by mohly být uspořádány tak, aby vytvořily zámek, který se otevřel tehdy a pouze tehdy, když byla stisknuta řada tlačítek ve správném pořadí.

Důsledky byly hluboké: spínací obvod mohl rozhodnout – schopnost, která se kdysi zdála být pro živé bytosti jedinečná. V nadcházejících letech by perspektiva rozhodovacích strojů inspirovala celou oblast umělé inteligence, pokus modelovat lidské myšlení pomocí počítače. A možná ani náhodou by toto pole fascinovalo Clauda Shannona na celý život.

Z bezprostřednějšího hlediska však byla schopnost spínacího obvodu rozhodovat o tom, co udělá z digitálních počítačů, které se objevily po druhé světové válce, něco zásadně nového. Nebyly to jejich matematické schopnosti samy o sobě, co současníky tak zaskočilo (ačkoli stroje byly jistě velmi rychlé); ještě ve 40. letech 20. století byl svět plný elektromechanických stolních kalkulaček, které uměly jednoduché sčítání a odčítání. Úžasnou částí byla schopnost nových počítačů pracovat pod kontrolou interního programu, rozhodovat se mezi různými alternativami a samostatně provádět složité sekvence příkazů.

To vše je důvod, proč byla A Symbolic Analysis of Relay and Switching Circuits, publikovaná v roce 1938, označována za nejdůležitější diplomovou práci 20. Ve svých 20 letech měl Claude Shannon zásadní vhled pro organizaci vnitřních operací moderního počítače – téměř deset let předtím, než takové počítače vůbec existovaly. V uplynulých letech pokročila spínací technologie od elektromechanických relé k mikroskopickým tranzistorům leptaným na křemíku. Ale dodnes návrháři mikročipů stále mluví a přemýšlejí v pojmech vnitřní logiky svých čipů – koncept nese z velké části Shannonova práce.

Perfektní informace

S povzbuzením Vannevara Bushe se Shannon rozhodl navázat na magisterský titul doktorátem z matematiky – což je úkol, který dokončil za pouhý rok a půl. Nedlouho po obdržení tohoto titulu na jaře 1940 nastoupil do Bellových laboratoří. Vzhledem k tomu, že vstup USA do druhé světové války byl zjevně jen otázkou času, Shannon okamžitě začal pracovat na vojenských projektech, jako je řízení protiletadlové palby a kryptografie (tvorba a rozbíjení kódu).

Nicméně Shannon si vždy našel čas na práci na základní teorii komunikace, tématu, které ho zajímalo před několika lety. Shannon napsal Bushovi v únoru 1939 v dopise, který se nyní uchovává v archivech Kongresové knihovny, že jsem pracoval na analýze některých základních vlastností obecných systémů pro přenos zpravodajských informací, včetně telefonování, rádio, televize, telegrafie atd. Aby dosáhl pokroku směrem k tomuto cíli, potřeboval způsob, jak upřesnit, co bylo přenášeno během aktu komunikace.

Na základě práce inženýra Bell Labs Ralpha Hartleyho Shannon formuloval přesný matematický výraz pro pojem informace. Alespoň v těch nejjednodušších případech, řekl Shannon, byl informačním obsahem zprávy počet binárních jedniček a nul potřebných k jejímu zakódování. Pokud jste předem věděli, že zpráva bude obsahovat jednoduchou volbu – ano nebo ne, pravda nebo nepravda –, stačila by jedna binární číslice: jedna jednička nebo jedna nula vám řekly vše, co jste potřebovali vědět. Zpráva by tak byla definována jako jedna jednotka informace. Složitější zpráva by na druhou stranu vyžadovala více číslic ke kódování a obsahovala by mnohem více informací; vzpomeňte si na tisíce nebo miliony jedniček a nul, které tvoří soubor pro zpracování textu.

Jak si Shannon uvědomil, tato definice měla své zvrácené aspekty. Zpráva může nést pouze jednu binární jednotku informace - Ano - ale svět významu - jako v: Ano, vezmu si tě. Úkolem inženýrů však bylo dostat data odsud tam s minimálním zkreslením, bez ohledu na jejich obsah. A pro tento účel byla digitální definice informace ideální, protože umožňovala přesnou matematickou analýzu. Jaké jsou limity kapacity komunikačního kanálu? Kolik z této kapacity můžete využít v praxi? Jaké jsou nejúčinnější způsoby kódování informací pro přenos v nevyhnutelné přítomnosti šumu?

Soudě podle jeho komentářů o mnoho let později Shannon nastínil své odpovědi na takové otázky do roku 1943. Kupodivu se však zdá, že nepociťoval žádnou naléhavost sdílet tyto poznatky; někteří z jeho nejbližších spolupracovníků v té době přísahají, že neměli ponětí, že pracoval na teorii informace. Nespěchal ani s publikací a tím si zajistil uznání díla. Více mě motivovala zvědavost, vysvětlil ve svém rozhovoru z roku 1987 a dodal, že proces psaní pro publikaci byl bolestivý. Nakonec však Shannon svou neochotu překonal. Výsledek: průlomový dokument A Mathematical Theory of Communication, který vyšel v červenci a říjnu 1948 ve vydání Bell System Technical Journal .

Shannonovy nápady explodovaly silou bomby. Bylo to jako blesk z čistého nebe, vzpomíná John Pierce, který byl jedním z Shannonových nejlepších přátel v Bellových laboratořích, a přesto ho Shannonovy noviny překvapily jako kohokoli jiného. Nevím o žádné jiné teorii, která by přišla v kompletní podobě, jako je tato, s velmi málo předchůdci nebo historií. V tomto pojetí kvantifikace informací skutečně bylo něco, co podněcovalo představivost lidí. Bylo to zjevení, říká Oliver Selfridge, který byl tehdy postgraduálním studentem na MIT. Reakce kolem MIT byla skvělá! Proč mě to nenapadlo?‘

Velká část síly Shannonovy myšlenky spočívala v jejím sjednocení toho, co bylo dříve různorodou skupinou technologií. Do té doby nebyla komunikace jednotnou vědou, říká Gallager z MIT. Existovalo jedno médium pro přenos hlasu, další médium pro rádio a další pro data. Claude ukázal, že veškerá komunikace je v zásadě stejná – a navíc, že ​​můžete vzít jakýkoli zdroj a reprezentovat jej digitálními daty.

Už jen tento náhled by ze Shannonovy práce učinil jeden z největších analytických úspěchů 20. století. Ale bylo toho víc. Předpokládejme, že jste se pokoušeli poslat, řekněme, blahopřání k narozeninám po telegrafní lince nebo prostřednictvím bezdrátového spojení, nebo dokonce poštou v USA. Shannon byl schopen prokázat, že každý takový komunikační kanál měl rychlostní limit měřený v binárních číslicích za sekundu. Špatnou zprávou bylo, že nad tímto rychlostním limitem byla dokonalá věrnost nemožná: bez ohledu na to, jak chytře jste svou zprávu zakódovali a zkomprimovali, prostě ji nezrychlíte, aniž byste některé informace vyhodili.

Ohromující dobrou zprávou však bylo, že pod tímto rychlostním limitem byla převodovka potenciálně perfektní. Nejen velmi dobré: perfektní. Shannon poskytl matematický důkaz, že musely existovat kódy, které by vás dostaly až k limitu, aniž byste ztratili jakoukoli informaci. Navíc demonstroval, že dokonalý přenos by byl možný bez ohledu na to, jak velký statický náboj a zkreslení může být v komunikačním kanálu, a bez ohledu na to, jak slabý může být signál. Samozřejmě možná budete muset zakódovat každé písmeno nebo pixel velkým počtem bitů, abyste zaručili, že jich projde dostatek. A možná budete muset vymyslet všechny druhy efektních schémat na opravu chyb, aby bylo možné poškozené části zprávy rekonstruovat na druhém konci. A ano, v praxi by se kódy nakonec protáhly a komunikace tak zpomalila, že byste to museli vzdát a nechat vyhrát šum. Ale v zásadě byste mohli pravděpodobnost chyby dosáhnout tak blízko nule, jak jste chtěli.

Tato základní věta teorie informace, jak ji Shannon nazval, překvapila i jeho samotného, ​​když ji objevil. Zdálo se, že dobývání hluku porušuje veškerý zdravý rozum. Ale pro jeho současníky v roce 1948, kdy teorém poprvé viděli, byl efekt elektrizující. Aby byla pravděpodobnost chyby tak malá, jak si přejete? To nikoho nikdy nenapadlo, žasne Robert Fano z MIT, který se sám stal předním informačním teoretikem v padesátých letech minulého století – a dodnes má v kanceláři zavěšenou Shannonovu pietní fotografii. Jak k tomu vhledu přišel, jak vůbec něčemu takovému uvěřil, nevím. Ale na této práci je založeno téměř veškeré moderní komunikační inženýrství.

Shannonova práce visí nad vším, co děláme, souhlasí Robert Lucky, korporátní viceprezident aplikovaného výzkumu ve společnosti Telcordia, spinoff Bell Labs dříve známý jako Bellcore. Opravdu, poznamenává, Shannonova základní věta sloužila jako ideál a výzva pro následující generace. 50 let lidé pracovali na tom, aby dosáhli kapacity kanálu, kterou řekl, že je možná. Teprve nedávno jsme se sblížili. Jeho vliv byl hluboký.

A Lucky dodává, že Shannonova práce inspirovala vývoj všech našich moderních kódů pro opravu chyb a algoritmů pro kompresi dat. Jinými slovy: žádný Shannon, žádný Napster.

Shannonova věta vysvětluje, jak můžeme nenuceně přehazovat kompaktní disky způsobem, na který by se nikdo neodvážil s dlouhohrajícími vinylovými deskami: tyto kódy pro opravu chyb umožňují CD přehrávači prakticky eliminovat hluk způsobený škrábanci a otisky prstů, než jej vůbec uslyšíme. . Shannonův teorém rovněž vysvětluje, jak mohou počítačové modemy přenášet komprimovaná data rychlostí desítek tisíc bitů za sekundu přes běžné telefonní linky řízené šumem. Vysvětluje, jak vědci z NASA dokázali dostat snímky planety Neptun zpět na Zemi přes tři miliardy kilometrů meziplanetárního prostoru. A vede to daleko k vysvětlení, proč se slovo digitální stalo synonymem pro nejvyšší možný standard v kvalitě dat.

Vypínání

Pochvaly za Shannonovu práci přicházely rychle. Warren Weaver, ředitel Divize přírodních věd Rockefellerovy nadace, prohlásil, že teorie informace zahrnuje všechny postupy, kterými může jedna mysl ovlivnit druhou, včetně nejen psaného a ústního projevu, ale také hudby, výtvarného umění, divadla, baletu. a vlastně veškeré lidské chování. Časopis Fortune jen stěží pohltil své nadšení, nazval informační teorii jedním z nejpyšnějších a nejvzácnějších výtvorů člověka, velkou vědeckou teorií, která by mohla hluboce a rychle změnit pohled člověka na svět. Sám Shannon musel brzy vyčlenit celou místnost ve svém domě, jen aby udržel všechny jeho citace, plakety a svědectví.

Během jednoho nebo dvou let od vydání jeho článku však Shannon s hrůzou zjistil, že teorie informace se stává – no, populární. Lidé říkali směšné věci o množství informací vycházejících ze slunce nebo dokonce o informačním obsahu hluku. Vědci předkládali grantové žádosti, které odkazovaly na teorii informace, ať už s ní jejich návrhy měly něco společného nebo ne. Teorie informace se stávala módním slovem, stejně jako umělá inteligence, chaos a složitost v 80. a 90. letech 20. století. A Shannon to nenáviděl. V článku z roku 1956 nazvaném The Bandwagon v časopise Transakce na teorii informace prohlásil, že teorie informace je značně přeprodávaná. Možná to narostlo na význam přesahující jeho skutečné úspěchy, napsal.

Místo aby pokračoval v boji o tom, o čem věděl, že je to prohraná bitva, Shannon vypadl. Přestože nějakou dobu pokračoval ve výzkumu teorie informace, odmítl téměř všechna nekonečná pozvání k přednáškám nebo k rozhovorům pro noviny; nechtěl být celebritou. Stejně tak přestal odpovídat na většinu svých e-mailů. Korespondence od významných osobností vědy a vlády skončila zapomenutá a nezodpovězená ve složce, kterou označil Dopisy, se kterými jsem příliš dlouho otálel. Jak roky plynuly, Shannon se ve skutečnosti začal stahovat nejen z očí veřejnosti, ale i z výzkumné komunity – postoj, který znepokojoval jeho kolegy z MIT, kteří ho najali z Bellových laboratoří v roce 1958. Napsal krásné články – když psal, říká Fano z MIT. A měl krásné řeči - když měl řeč. Ale nerad to dělal.

Čas od času Shannon pokračoval v publikování. Pozoruhodným příkladem, než se příliš zděsil svou celebritou a úplně se stáhl, byl zásadní článek z roku 1950 pro Scientific American popisující, jak může být počítač naprogramován tak, aby hrál šachy. Ale z akademické scény se pomalu vytrácel, vzpomíná Peter Elias, další vedoucí skupiny teorie informace MIT. Claudovou vizí výuky bylo přednést řadu přednášek o výzkumu, o kterém nikdo jiný nevěděl. Ale to tempo bylo velmi náročné; ve skutečnosti každý týden přicházel s výzkumnou prací. V polovině 60. let, vzpomíná Elias, Shannon přestal učit.

Po svém oficiálním odchodu do důchodu v roce 1978, ve věku 62 let, se Shannon šťastně stáhl do svého domova na bostonském předměstí Winchester, MA. O peníze nešlo; díky svým znalostem high-tech průmyslů, které se objevují kolem bostonské Route 128, provedl několik rafinovaných investic na akciovém trhu. Nezdálo se ani, že by došlo ke snížení jeho vynalézavosti. Pořád stavěl věci! vzpomíná Betty Shannon se smíchem. Jedním z nich byla… postava W. C. Fieldse, která odrážela tři míčky na buben. Dělalo to pořádný hluk, to vám povím!
Nicméně kolem roku 1985 nastal čas, kdy si on a Betty začali všímat určitých chyb. Šel by se projet a zapomněl, jak se dostat domů. V roce 1992, kdy se Institut elektrotechnických a elektronických inženýrů připravoval na zveřejnění jeho sebraných článků, byl Shannon znepokojen tím, že si uvědomil, že si nepamatuje, že by jich mnoho napsal. A v polovině roku 1993, kdy byl jeho stav zřejmý všem, rodina potvrdila to, co mnozí začali tušit: Claude Shannon měl Alzheimerovu chorobu. Později téhož roku ho jeho rodina neochotně umístila do pečovatelského domu.

V roce 1998, kdy si jeho rodné město Gaylord, MI, připomnělo 50. výročí teorie informace odhalením busty jejího tvůrce v městském parku, Betty Shannon poděkovala městu místo něj. Fyzicky byl podle ní v pořádku téměř až do konce, kdy se zdálo, že se všechno najednou zhroutilo. Ale 24. února, jen dva měsíce před Shannonovými 85. narozeninami, přišel konec. Reakce na jeho smrt byla ohromující, říká. Myslím, že by ho to ohromilo.

skrýt