211service.com
I vy můžete být dalším Googlem
Byl jsem ve společnosti Google čtyři roky a Google má samozřejmě o něco více počítačů než my, říká Tom Annau, viceprezident pro inženýrství ve společnosti Blekko, vyhledávač, který tvrdí, že se v každém ohledu vyrovná stávajícím vyhledávačům Bing a Google – bez spam.
Pomocí nových webových stránek jako proxy se růst lidských znalostí zpomalil…
Ale množství skutečných, užitečných a zajímavých informací na internetu neroste tak rychle jako Moorův zákon, dodává.
Moorův zákon není ani tak zákonem, jako spíše obecným trendem v mikroprocesorovém průmyslu – spíše produktem desetiletí trvajícího úsilí v oblasti výzkumu a vývoje ze strany společností jako Intel jako výsledek jakýchkoli základních fyzikálních principů. Uvádí, že počet mikroprocesorů, které můžete získat za dolar, se každých 18 měsíců zhruba zdvojnásobí. To znamená menší a rychlejší čipy, jejichž výkony od 60. let exponenciálně rostly, přinejmenším.
Naproti tomu růst webu může se vyrovnávat . Jak by přesto mohla jakákoliv společnost, natož startup, doufat, že bude konkurovat skutečně gigantické serverové a síťové infrastruktuře společností jako Google a Microsoft?
Vyhledávání na webu je stále aplikací, která dost tvrdě posouvá hranice současných počítačových zařízení, říká Annau. Blekko však dosahuje kompletního, aktuálního indexu webu s méně než 1000 servery – pravděpodobně méně, než by se našlo v kterémkoli z primárních datových center Google – využitím zmenšení problému na zvládnutelnou velikost v způsoby, které vyhledávací giganti nemohou nebo nechtějí.
Snažíme se vyhnout procházení spamu a jiného špatného obsahu, říká Annau. Myslím, že ostatní motory mají zásadu procházení nejprve klást otázky později. Jednou z efektivity, kterou získáme, je neprocházet splogs [spamové blogy] a další strojově generované nesmysly.
Téměř veškerý strojově generovaný obsah na webu je vytvářen právě proto, aby chytil pavouky vyhledávačů, kteří jej procházejí, a nacpal jejich indexy stránkami s reklamami. Vyhýbání se těmto stránkám dohromady – pomocí algoritmů pro detekci spamu a lidské péče – šetří Blekko obrovské množství zdrojů.
Existuje určitá míra, za kterou, pokud budete pokračovat v procházení, nebudete procházet žádné zajímavější, užitečnější nebo dobré věci – při velkém procházení webu se hodně snižuje návratnost, říká Annau.
Blekko také používá taktiku používanou jinými vyhledávači – rozdělené procházení, které důkladně indexuje celý web, včetně velké části jeho statického obsahu, méně často než rychlé procházení, které neustále přeindexuje weby, které se často mění, jako jsou zprávy a blogy.
Agresivně procházíme spoustu vysoce kvalitních, rychle se měnících zdrojů, říká Annau. Můžete to vidět, když vyhledáte lomítko – můžete vidět věci, které se objevily jen před minutou.
Moorův zákon pokračuje.
(DC)Wgsimon
Annauův dlouhodobý pohled na vyhledávání je takový, že indexování celého webu – nebo alespoň jeho užitečných částí – se stává ovladatelnějším, nikoli méně. V tomto kalkulu Microsoft a Google a další velké vyhledávače inzerují rozsah svých datových center částečně proto, aby zastrašily potenciální rivaly; aby se překážky vstupu do vyhledávacího podnikání zdály vyšší, než ve skutečnosti jsou.
Ať už jako startup uspějeme, nebo selžeme, bude pravdou, že každým rokem budou jednotlivé servery stále výkonnější a možnost procházet a indexovat užitečné informace na webu bude ve skutečnosti stále dostupnější, říká Annau.
Každý startup je hypotéza o nějaké efektivitě na trhu, kterou vnímají, dodává. Pro Blekko a další začínající vyhledávače, jako je jednočlenná operace Gabriela Weinberga Duck Duck Go, je tato efektivita taková, že součet lidských znalostí bude obratně překonán rychlostí nárůstu výpočetního výkonu.
Jak s oblibou zdůrazňuje Rich Skrenta, generální ředitel společnosti Blekko, růst Wikipedie se vyrovnává. Na světě prostě není tolik témat – lidé mohou stránky přidávat a upravovat, ale jejich velikost se neustále zdvojnásobuje, říká Annau.
