annyi szó esik a relevanciáról manapság, gondoltam, bemutatom a keresőmotor mögött álló technológiát, és hogy mi lehet a lehetséges különbség közöttük. Van néhány érdekes veszi keresési technológia pre-rangsor eredmények menet közben neurális hálózatok közösségi alapú keresést.
összehasonlítva a ‘nagy négyet’
ezekben a cikkekben a ‘nagy négyre fogok összpontosítani. Ezek azok a motorok, amelyek a keresési terület tulajdonát képezik. Ők a Google, Yahoo!, MSN, és kérdezze Jeeves. Elsőként a Google és a Yahoo!
Google – a Google valószínűleg a legismertebb keresőmotor. Amikor elindították őket, a legrelevánsabbnak tekintették őket.
hogyan működik a Google
elsősorban a PageRank algoritmusukon határozták meg a relevanciát. A PageRank lényegében azt mondja, hogy egy olyan webhely, amelynek több bejövő linkje van, mint versenytársainak, valószínűleg jobb webhely, ezért magasabb rangúnak kell lennie. A webmesterek hamar rájöttek erre, és arra is rájöttek, hogy csak annyit kell tenniük, hogy megnövelt számú linket építenek – elég linkeket ahhoz, hogy felülmúlják versenytársaikat – annak érdekében, hogy magas rangot kapjanak. A Google természetesen úgy reagált, hogy kissé megváltoztatta a rangsorolási algoritmust. Most már a PageRank algoritmusra vonatkoznak a tekintély és a relevancia elemei.
a Google működése az, hogy miután a Googlebot feltérképezte és indexelte az oldalakat (lásd a keresőmotor-pókokról szóló korábbi cikkemet), azok visszakerülnek a Google-hoz rangsorolás céljából.
a Google több ezer szervert alkalmaz a rangsor kiszámításához. Több száz tényezőt vizsgálnak meg – mind az oldalon, mind az oldalon kívül (például bejövő linkek). Több száz algoritmust használnak a számítások elvégzéséhez. Lényegében tényezőnként egy algoritmusnak kell lennie. Az algoritmusok súlyozzák az oldalakat, és hozzárendelik azok értékeit. Ezeket az értékeket későbbi felhasználás céljából tárolják.
amikor egy felhasználó lekérdezést hajt végre, egy másik algoritmuskészlet mérlegeli a korábban kiszámított értékeket egymással az Általános relevancia meghatározása érdekében. Az eredményeket ezután kiadják a felhasználók böngészőjének.
ahogy el lehet képzelni, az ilyen típusú feldolgozási teljesítményigénynek hatalmasnak kell lennie. Ezenkívül annak alapján, hogy a Google milyen gyorsan adja vissza az eredményeket, nem sok adat írható az egyes szerverek merevlemezére. Ezért azt kell feltételeznünk, hogy a Google index nagy része gyakorlatilag a memóriában található. Vagy legalább a felhasználóknak kiszolgált alkatrészek.
a következő alkalommal, amikor keresést végez, nézze meg, hogy a Google milyen gyorsan adja vissza az eredményeket. Rákerestem a “serach engine”-re (szándékosan rosszul írtam), és 68 900 találatot adott vissza. Ezenkívül a motor néhány szponzorált eredményt adott vissza az oldal oldalán, valamint helyesírási javaslatot. Mindezt 0,36 másodperc alatt.
népszerű lekérdezések esetén a motor még gyorsabb. Például a Kathrina hurrikán vagy az MTV awards (mindkét legutóbbi esemény) keresése kevesebb volt, mint .Fejenként 2 másodperc.
és a Google híres a decentralizációról és a redundanciáról. Minden egyes gyorsítótárazott oldalra valószínűleg 2-3 példány van tárolva, talán még több. A Google nagyon apró részekre bontja az indexet-egyenként 2 megabájtra, és ahogy korábban említettem, ez a 2 megabájtos szakasz az egész Google infrastruktúrában tárolódik. Minden 2 megabájtos szakasz tárolható egy nem kapcsolódó szakasz mellett. Például lehet néhány oldal egy kisállat-webhelyről egy blog oldalai mellett, egy e-kereskedelmi webhely oldalai mellett.
bár minden adatközpont a másiktól függetlenül működik, valószínűleg van némi átfedés a feladatokban.
Képzeljünk el egy szobát, ahol több ezer számítógép fut egymással egységesen. Most képzeljük el, hogy ugyanazt a szobát újra és újra lemásolják az összes többi adatközpontba Észak-Amerikában.
ezeknek a különböző adatközpontoknak köszönhető, amelyek mindegyike külön-külön működik, de ugyanazzal a végcéllal, hogy havonta megtapasztaltuk a “Google Dance” – t. A Google tánc volt az az időszak, amikor a Google frissítette keresési eredményeit az adatközpontokban. Ezenkívül minden adatközpont önmagában frissülne, így azok az oldalak, amelyek az egyik adatközpontban az 1.helyet foglalhatták el, nem feltétlenül jelentek meg a többi adatközpont top 30-ban.
természetesen a Google által az oldalak rangsorolásához használt tényezők idővel megváltoztak. Kevesebb hangsúlyt fektetnek a Pagerankra, de ez még mindig fontos. Fontos megjegyezni, hogy a különböző tényezők mozgatása a számításon belül nagyban befolyásolhatja a webhely rangsorolását. Például, ha a webhelynek magas a Pagerankja, de alacsony a kulcsszósűrűsége, akkor az #1 lehet, ha a PageRank később befolyásolja a számítást, azonban a webhely eltűnhet az eredményekből, ha a Pagerankot korábban figyelembe vesszük.
és valószínűleg ez történik most – a Google lényegében áthelyezte a PageRank tényezőt a végső számításba. Ne feledje, hogy valószínűleg több száz tényező befolyásolja a rangsorolást. Ha átrendezi a sorrendet, amelyben alkalmazzák őket a végső rangsorban, drámai hatással lehet a keresési eredményoldalon való általános elhelyezésre.
úgy tűnik, hogy a Google a havi egyszeri frissítésről egy állandóbb frissítési indexre költözött. Csak ritkán vesszük észre a változásokat, de növekményesebb szinten történnek, több nagyobb frissítés ritkábban történik.
azt hiszem, a Google – t rétegek sorozataként tekinthetjük meg-minden réteg a réteg által végzett munkára épül. A legfelső réteg az egyetlen, amelynek a böngészőn keresztül vagyunk kitéve, azonban az az oldal, amelyet lát, nem létezne az alsó rétegek által végzett munka nélkül.
most nézzük meg a Yahoo
Yahoo! – Míg senki más, mint a Yahoo!s mérnökök biztosan tudják, spekulálhatunk, hogy a Yahoo! keresési technológia nagyon hasonlít a Google
az OK Yahoo! olyan nehéz felmérni, mert nem igazán építettek keresőmotort az alapoktól kezdve, mint a Google vagy az MSN. Természetesen a Yahoo! a látott keresés önmagában egyedülálló, azonban a Yahoo! a keresést az előző években vásárolt egyéb technológiák hátoldalára építette.
2002 karácsonya körül volt, amikor a Yahoo! vásárolt keresési szolgáltatás Inktomi. Addig Yahoo! a keresési eredményeket vagy az Inktomitól, vagy a közelmúltban a Google-tól kapta. Valójában, egészen addig, amíg megvásárolták az Inktomi-t, spekuláció volt, hogy a Yahoo! megveszi a Google-t.
alig néhány hónappal ez után az Overture (a Pay-per-click reklám cég) megvásárolta az Altavistát – az egyik első és legerősebb keresőmotort. Azután, csak néhány héttel azután, hogy nyitány vásárolt Alltheweb.com gyors.
egyértelmű volt, hogy az Overture az algoritmikus Keresési térbe fog költözni.
de nem sokkal azután, hogy ez a morajlás kezdődött, hogy a Yahoo! érdekelheti az Overture technológiájának egy részét vagy egészét. 2003 júliusában a Yahoo! valóban vásárolt nyitány.
nem sokat hallottunk a Yahoo-ról! keresés 2004 februárjáig – ekkor indította el a vállalat az algoritmikus keresés saját verzióját. És nem az volt, amire sokan számítottak. Néhányan úgy gondolták, hogy egyszerűen átnevezik az Inktomi-t, míg mások úgy gondolták, hogy átnevezik az egyik Nyitányvásárlást, és az Altavista vagy az Alltheweb search-t Yahoo-ba fordítják! keresés.
de nem ez történt. Jehu! megépítették saját keresésüket, a tulajdonukban lévő összes technológia jellemzőinek összevonása.
volt a szupergyors Inktomi és Altavista crawlers, valamint a meglepően jó Alltheweb és Altavista rangsorolási algoritmusok. Így tört, hogy minden együtt, hogy a Yahoo! Keresés.
Yahoo! A keresés nem sokban különbözik a Google-tól. Saját webhelyük azt mondja, hogy számos tényező segítségével elemzik az oldalakat a keresési lekérdezés relevanciájának meghatározásához, és az elemzés eredményeit a felhasználó látja, amikor lekérdezést hajt végre.
természetesen Yahoo! mint az összes többi motor, töltötte az elmúlt évben, vagy több dolgozik, hogy javítsa a rangsorolási algoritmusok. Amikor először jöttek ki, úgy tűnt, hogy nagy hangsúlyt fektettek egy adott webhely kezdőlapjára, kevesebb hangsúlyt fektetve a bejövő linkekre, vagy akár a többi webhelyoldalra.
az elmúlt néhány hónapban azonban észrevettünk egy finom elmozdulást a csak a Kezdőlap rangsorolásáról a több webhelyoldal rangsorolására, ahol a Kezdőlap egyszer rangsorolt.
ezen felül hajlamosak a bejövő linkeket másképp rangsorolni, mint a Google. Amikor elvégzi a link ellenőrzését a Google – on, és ugyanazt az ellenőrzést a Yahoo-n! a Google eredményei szinte mindig alacsonyabbak. A Google szerint ez azért van, mert csak a “releváns” linkek pillanatképét mutatják, míg a Yahoo! megmutatja őket, függetlenül a relevanciától.
és vannak más különbségek is, de túl sok, hogy menjen át ebben a cikkben.
elég azt mondani, hogy a Google és a Yahoo! nagyjából ugyanazt a technológiát használja a hasonló eredmények visszaadásához. Megadott látni fogja a különbségeket a rangsorban, de ez annak köszönhető, hogy sok mindent. Például a Yahoo! úgy tűnik, hogy ritkábban frissül, mint a Google. Dolgoztam olyan webhelyekkel, amelyek új oldalakat indexeltek és rangsoroltak a Google-ban a létrehozástól számított napokon belül, és néha hónapokig is eltarthat a Yahoo! hogy ugyanezt tegyem.
lényegében azt mondom, hogy: ha csak a rangsor érdekli – akkor a Google-ra való optimalizálás tisztességes rangsorolást eredményez a Yahoo-ban! de lehet, hogy csak hosszabb ideig tart, amíg megjelenik a Yahoo-ban! keresési eredmények. Ennek oka az, hogy végül a Yahoo mögött álló technológia! a Google nagyon hasonló.
holnap azonban bemutatok két egyedi motort. Az egyik azt állítja, hogy neurális hálózati technológiát használ, a másik pedig a közösséget használja rangsorának alapjául.