S tolik mluvit o významu těchto dní, myslel jsem, že bych vám představil některé technologie za vyhledávač, a to, co potenciální rozdíly mezi nimi mohl být. Existuje několik zajímavých pohledů na vyhledávací technologii od předběžných výsledků za běhu přes neuronové sítě až po komunitní vyhledávání.
porovnáním „Velké čtyřky“
v těchto článcích se zaměřím na „velkou čtyřku“. To jsou motory, které mají patřit k vyhledávacímu prostoru. Jsou to Google, Yahoo!, MSN, a zeptejte se Jeevese. První na řadě budou Google a Yahoo!
Google-Google je pravděpodobně nejznámější vyhledávač. Když zahájili, byli považováni za nejdůležitější.
jak Google funguje
určili relevanci především na svém algoritmu PageRank. PageRank v podstatě říká, že web, který má více příchozích odkazů než jejich konkurenti, je pravděpodobně lepší web, proto by se měl zařadit výše. Webmasteři si to brzy uvědomili a také si uvědomili, že vše, co musí udělat, je vybudovat zvýšený počet odkazů-dostatek odkazů, aby překonali své konkurenty-aby se mohli vysoce zařadit. Google samozřejmě reagoval poněkud změnou algoritmu hodnocení. Nyní existují prvky autority a relevance aplikované na algoritmus PageRank.
Jak funguje Google je, jakmile jsou stránky procházet a indexovat Googlebot (viz můj předchozí článek na search engine pavouci) jsou vráceny na Google žebříčku.
Google zaměstnává tisíce serverů pro výpočet těchto žebříčků. Dívají se na stovky faktorů – na stránce i mimo stránku (například příchozí odkazy). K provádění těchto výpočtů používají stovky algoritmů. V podstatě by měl existovat jeden algoritmus na faktor. Algoritmy váží stránky a přiřazují jejich hodnoty. Tyto hodnoty jsou pak uloženy pro pozdější použití.
, Když uživatel provede dotaz, ještě další sadu algoritmů zvážit dříve vypočtené hodnoty proti sobě určit celkový význam. Výsledky jsou pak výstup do prohlížeče uživatelů.
jak si lze představit, tento typ požadavku na výpočetní výkon musí být obrovský. Kromě toho na základě toho, jak rychle Google vrací výsledky, nelze na pevné disky jednotlivých serverů zapsat mnoho dat. Proto je třeba předpokládat, že většina indexu Google je prakticky v paměti. Nebo alespoň části, které jsou podávány uživatelům.
při příštím vyhledávání se podívejte, jak rychle Google vrátí výsledky. Hledal jsem „serach engine“ (záměrně jsem to špatně napsal) a vrátil 68,900 výsledky. Kromě toho motor vrátil některé sponzorované výsledky po celé straně stránky, stejně jako návrh pravopisu. Vše za 0,36 sekundy.
a pro populární dotazy je motor ještě rychlejší. Například hledání hurikánu Kathrina nebo ocenění MTV (obě nedávné události) trvalo méně než.2 sekundy každý.
a Google je známý decentralizací a redundancí. Pro každou stránku uloženou v mezipaměti je pravděpodobně uloženo 2-3 kopie, možná ještě více. Google rozděluje index na velmi malé části-každá po 2 megabajtech, a jak jsem již zmínil, tyto 2 Megabajtové sekce jsou uloženy po celé infrastruktuře Google. Každá část 2 megabajtů může být uložena vedle nesouvisející sekce. Například, vedle stránek z blogu může být několik stránek z webu pro domácí mazlíčky, vedle stránek z webu elektronického obchodování.
zatímco každé Datacentrum působí nezávisle na druhém, je pravděpodobné, že se úkoly překrývají.
Představte si místnost s tisíci počítačů běžících společně. Nyní si představte, že stejná místnost zkopírována znovu a znovu do všech ostatních datových center rozmístěných po celé Severní Americe.
je To proto, že z těchto různých datových centrech, z nichž každý jedná samostatně, ale se stejným cílem, které jsme použili, aby zažít „Google Dance“ měsíčně. Tanec Google byl obdobím, kdy Google aktualizoval výsledky vyhledávání v datových centrech. Dále, každé datové centrum by aktualizovat na své vlastní, takže stránky, které mohou mít zařadil #1 v jednom datovém centru nemusí mít objevil se v top 30 na jiných datových center.
faktory, které Google použil k hodnocení stránek, se v průběhu času změnily. Kladou menší důraz na PageRank, ale je to stále důležité. Je důležité si uvědomit, že pohyb různých faktorů v rámci výpočtu může výrazně ovlivnit hodnocení webu. Například, pokud má web vysokou PageRank, ale nízkou hustotu klíčových slov, může se zařadit #1, Pokud PageRank ovlivní výpočet později, ale web může zmizet z výsledků, pokud je PageRank zvažován dříve.
a to je pravděpodobně to, co se nyní děje-Google v konečném výpočtu v podstatě přesunul faktor PageRank někam jinam. Pamatovat, pravděpodobně existují stovky faktorů ovlivňujících hodnocení. Přeskupením pořadí, ve kterém jsou aplikovány na konečné hodnocení, může mít dramatický dopad na celkové umístění na stránce s výsledky vyhledávání.
zdá se, že Google také přešel z aktualizace jednou za měsíc na stále aktualizovanější index. Změny se dějí jen zřídka, ale dějí se na více přírůstkové úrovni, s více významnými aktualizacemi, které se dějí méně často.
myslím, že by se dalo Zobrazit Google jako řadu vrstev-každá vrstva vychází z práce provedené vrstvou dříve. Vrchní vrstva je jediná, jsme vystaveni prostřednictvím prohlížeče, však, že stránky, které vidíte, by neexistoval bez práce prováděné nižší vrstvy.
nyní se podívejme na Yahoo
Yahoo! – Zatímco nikdo jiný než Yahoo!s inženýři vědí jistě, můžeme spekulovat, že Yahoo! vyhledávací technologie funguje velmi podobně jako Google
důvod Yahoo! je tak těžké odhadnout, je to proto, že ve skutečnosti nevytvořili vyhledávač od základů jako Google nebo MSN. Samozřejmě Yahoo! vyhledávání, které vidíte, je samo o sobě jedinečné, nicméně Yahoo! své vyhledávání postavila na hřbetech dalších technologií, které si pořídila v předchozích letech.
bylo to právě kolem Vánoc 2002, kdy Yahoo! zakoupená vyhledávací služba Inktomi. Až do té doby Yahoo! obdrželi výsledky vyhledávání buď od společnosti Inktomi, nebo v poslední době od společnosti Google. Ve skutečnosti, až do doby, kdy zakoupili Inktomi, se spekulovalo, že Yahoo! koupil by Google.
bylo To jen pár měsíců poté, co Předehra (pay-per-click reklamní společnost) zakoupit Altavista – jeden z prvních a nejsilnějších vyhledávačů venku. Pak, jen pár týdnů po této předehře zakoupené Alltheweb.com z FAST.
bylo jasné, že Overture se bude pohybovat do algoritmického vyhledávacího prostoru.
ale krátce po tomto dunění začalo Yahoo! může mít zájem o koupi některé nebo všechny technologie Overture. A v červenci 2003 Yahoo! opravdu koupil předehru.
o Yahoo jsme toho moc neslyšeli! hledat až do února 2004-to je, když společnost zahájila vlastní verzi algoritmického vyhledávání. A nebylo to to, co mnozí očekávali. Někteří si mysleli, že oni by prostě rebrand Inktomi, zatímco jiní si mysleli, že by rebrand jeden z Předehra nákupy a zase buď Altavista ani Alltheweb vyhledávání na Yahoo! vyhledávání.
ale to se nestalo. Yahoo! postavili vlastní vyhledávání, dláždění dohromady funkce ze všech technologií, které vlastnili.
měli super rychlé Inktomi a Altavista roboti, stejně jako překvapivě dobrý Alltheweb a Altavista pořadí algoritmů. Takže to všechno rozdrtili, aby získali Yahoo! Vyhledávání.
Yahoo! Vyhledávání se příliš neliší od Googlu. Své vlastní webové stránky, říká, že oni analyzovat stránky pomocí mnoha faktory určující význam pro vyhledávací dotaz, a výsledky této analýzy jsou to, co uživatel vidí, když se provést dotaz.
samozřejmě Yahoo! stejně jako všechny ostatní motory, strávil uplynulý rok nebo více prací na zlepšení svých algoritmů hodnocení. Když se poprvé objevil, zdálo se, že mají kladen velký důraz na domovskou stránku daného webu, s menším důrazem na příchozí odkazy, nebo dokonce na jiné stránky.
v posledních několika měsících jsme si však všimli jemného posunu z hodnocení pouze na domovské stránce na více stránek stránek, kde se domovská stránka jednou zařadila.
kromě toho mají tendenci řadit příchozí odkazy jinak než Google. Když provedete kontrolu odkazu na Googlu a stejnou kontrolu na Yahoo! výsledky Google téměř vždy bývají nižší. Google říká, že je to proto, že ukazují pouze snímek „relevantních“ odkazů, zatímco Yahoo! zobrazuje je všechny bez ohledu na relevanci.
a existují i další rozdíly, ale v tomto článku je příliš mnoho.
stačí říci, že Google a Yahoo! k návratu podobných výsledků použijte zhruba stejnou technologii. Je pravda, že uvidíte rozdíly v žebříčku, ale je to kvůli mnoha věcem. Například Yahoo! zdá se, že se aktualizuje méně často než Google. Pracoval jsem s weby, které mají nové stránky indexované a pořadí v Google během několika dní od vytvoření a někdy to může trvat měsíce pro Yahoo! udělat to samé.
v Podstatě to, co říkám, je toto: Pokud vše, co se týká je hodnost – pak optimalizace pro Google, dostanete slušnou pořadí v Yahoo! ale může to trvat déle, než se ukážete v Yahoo! výsledek. Je to proto, že, na konci, technologie za oběma Yahoo! a Google je velmi podobný.
zítra vám však představím dva jedinečné motory. Ten, který tvrdí, že používá technologii neuronových sítí, a ten, který používá komunitu jako základ pro své hodnocení.