przy tak wielu rozmowach o znaczeniu w dzisiejszych czasach, pomyślałem, że przedstawię ci niektóre technologie stojące za wyszukiwarką i jakie mogą być potencjalne różnice między nimi. Istnieje kilka interesujących podejść do technologii wyszukiwania od wyników wstępnych w locie do sieci neuronowych do wyszukiwania opartego na społeczności.
porównując „wielką czwórkę”
w tych artykułach skupię się na ” Wielkiej czwórce.”To są silniki uważane za właściciela przestrzeni wyszukiwania. Są to Google, Yahoo!, MSN, i zapytać Jeeves. Najpierw będą Google i Yahoo!
Google-Google to chyba najbardziej znana wyszukiwarka. Po uruchomieniu były one uważane za najbardziej istotne.
jak działa Google
ustalili trafność przede wszystkim na podstawie algorytmu PageRank. PageRank zasadniczo mówi, że strona, która ma więcej linków przychodzących niż ich konkurenci, jest prawdopodobnie lepszą stroną, dlatego powinna być wyższa. Webmasterzy szybko zdali sobie z tego sprawę, a także zdali sobie sprawę, że wszystko, co musieli zrobić, to zbudować zwiększoną liczbę linków – wystarczająco dużo linków, aby wyprzedzić swoich konkurentów – aby uzyskać wysoką pozycję. Google oczywiście zareagowało nieco zmieniając algorytm rankingu. Teraz istnieją elementy autorytetu i trafności stosowane do algorytmu PageRank.
jak działa Google, gdy strony są indeksowane i indeksowane przez Googlebota (patrz mój poprzedni artykuł na temat pająków wyszukiwarek) są one zwracane do Google w celu uzyskania rankingu.
Google zatrudnia tysiące serwerów do obliczania tych rankingów. Przyglądają się setkom czynników – zarówno na stronie, jak i poza nią (takich jak linki przychodzące). Używają setek algorytmów do wykonywania tych obliczeń. Zasadniczo powinien istnieć jeden algorytm na czynnik. Algorytmy ważą strony i przypisują ich wartości. Wartości te są następnie zapisywane do późniejszego wykorzystania.
gdy użytkownik wykonuje zapytanie, kolejny zestaw algorytmów waży wcześniej obliczone wartości względem siebie, aby określić ogólną trafność. Wyniki są następnie wysyłane do przeglądarki użytkowników.
jak można sobie wyobrazić, ten rodzaj zapotrzebowania na moc przetwarzania musi być ogromny. Ponadto, w oparciu o to, jak szybko Google zwraca wyniki, niewiele danych można zapisać na dyskach twardych poszczególnych serwerów. Dlatego należy założyć, że większość indeksu Google znajduje się praktycznie w pamięci. Lub przynajmniej części, które są serwowane użytkownikom.
następnym razem, gdy wykonasz wyszukiwanie, sprawdź, jak szybko Google zwraca wyniki. Szukałem „serach engine” (celowo źle go przeliterowałem) i zwróciło 68,900 wyników. Ponadto silnik zwrócił kilka sponsorowanych wyników z boku strony, a także sugestię ortograficzną. Wszystko w 0.36 sekundy.
a dla popularnych zapytań silnik jest jeszcze szybszy. Na przykład wyszukiwanie huraganu Kathrina lub nagród MTV (oba Ostatnie wydarzenia) zajęło mniej niż .Po 2 sekundy każdy.
a Google słynie z decentralizacji i redundancji. Na każdą pojedynczą stronę w pamięci podręcznej przechowywane są prawdopodobnie 2-3 kopie, a może nawet więcej. Google rozbija indeks na bardzo małe części-tak małe, jak 2 megabajty każda, i jak wspomniałem wcześniej, te 2 megabajty sekcji są przechowywane w całej infrastrukturze Google. Każda 2 Megabajtowa sekcja może być przechowywana obok niepowiązanej sekcji. Na przykład, obok stron z bloga, obok stron z witryny e-commerce może znajdować się kilka stron z witryny dla zwierząt domowych.
chociaż każde centrum danych działa niezależnie od drugiego, prawdopodobnie niektóre zadania pokrywają się.
wyobraź sobie pokój z tysiącami komputerów działających w zgodzie ze sobą. Wyobraźcie sobie ten sam pokój kopiowany w kółko do wszystkich innych centrów danych rozsianych po całej Ameryce Północnej.
to właśnie z powodu tych różnych centrów danych, z których każde działa osobno, ale z tym samym celem końcowym, doświadczyliśmy miesięcznika „Google Dance”. Taniec Google był tym okresem, w którym Google aktualizowało wyniki wyszukiwania w centrach danych. Co więcej, każde centrum danych aktualizowałoby się samodzielnie, więc strony, które mogły zająć pierwsze miejsce w jednym centrum danych, mogły nie pojawić się w pierwszej trzydziestce w innych centrach danych.
oczywiście czynniki wykorzystywane przez Google do pozycjonowania stron zmieniały się z czasem. Kładą mniejszy nacisk na PageRank, ale nadal jest to ważne. Ważne jest, aby pamiętać, że przenoszenie różnych czynników w ramach obliczeń może znacznie wpłynąć na ranking witryny. Na przykład, jeśli witryna ma wysoki PageRank, ale niską gęstość słów kluczowych, może zająć pozycję # 1, jeśli PageRank wpływa na późniejsze obliczenia, jednak witryna może zniknąć z wyników, jeśli PageRank zostanie uznany wcześniej.
i to chyba właśnie dzieje się teraz – Google zasadniczo przeniosło Współczynnik PageRank w inne miejsce w ostatecznym obliczeniu. Pamiętaj, że prawdopodobnie istnieją setki czynników wpływających na rankingi. Zmiana kolejności, w jakiej są stosowane do końcowych rankingów, może mieć dramatyczny wpływ na ogólne miejsce na stronie wyników wyszukiwania.
Google również wygląda na to, że przeniósł się z aktualizacji raz w miesiącu na bardziej ciągły indeks aktualizujący. Rzadko zauważamy, że zmiany zachodzą, ale zdarzają się na bardziej stopniowym poziomie, przy czym więcej głównych aktualizacji dzieje się rzadziej.
chyba można by zobaczyć Google jako serię warstw – każda warstwa opiera się na pracy wykonanej wcześniej przez warstwę. Najwyższa warstwa jest jedyną, na którą jesteśmy narażeni za pośrednictwem przeglądarki, jednak ta strona, którą widzisz, nie istniałaby bez pracy wykonywanej przez dolne warstwy.
teraz spójrzmy na Yahoo
Yahoo! – Podczas gdy nikt inny niż Yahoo!inżynierowie s wiedzą na pewno, możemy spekulować, że Yahoo! technologia wyszukiwania działa bardzo podobnie do Google
powód Yahoo! jest tak trudno ocenić, ponieważ tak naprawdę nie zbudowali Wyszukiwarki od podstaw, takiej jak Google lub MSN. Oczywiście Yahoo! Wyszukiwanie, które widzisz, jest unikalne dla siebie, jednak Yahoo! zbudował swoje poszukiwania na plecach innych technologii, które kupili w poprzednich latach.
to było właśnie około Bożego Narodzenia 2002, kiedy Yahoo! zakupiona usługa wyszukiwania Inktomi. Do tego czasu Yahoo! otrzymałem wyniki wyszukiwania Od Inktomi lub ostatnio Google. W rzeczywistości, aż do momentu zakupu Inktomi było spekulacje, że Yahoo! kupiłbym Google.
zaledwie kilka miesięcy po tym Overture (firma reklamowa pay-per-click) kupiła Altavista – jedną z pierwszych i najsilniejszych wyszukiwarek na rynku. Po kilku tygodniach od zakupu uwertury Alltheweb.com z POSTU.
było jasne, że Overture przeniesie się w Przestrzeń algorytmicznych poszukiwań.
ale krótko po tym dudnieniu zaczął się ten Yahoo! może być zainteresowany zakupem części lub całości technologii Overture. A w lipcu 2003 Yahoo! naprawdę kupiłam Uwerturę.
nie słyszeliśmy zbyt wiele o Yahoo! wyszukiwanie do lutego 2004 roku-wtedy firma uruchomiła własną wersję algorytmicznego wyszukiwania. I nie było to, czego wielu się spodziewało. Niektórzy myśleli, że po prostu zmienią markę Inktomi, podczas gdy inni myśleli, że zmienią markę jednego z zakupów uwertury i zamienią Altavista lub Alltheweb search W Yahoo! Szukaj.
ale tak nie było. Yahoo! zbudowali własne wyszukiwanie, łącząc funkcje ze wszystkich technologii, które posiadali.
mieli super szybkie roboty indeksujące Inktomi i Altavista, a także zaskakująco dobre algorytmy rankingu Alltheweb i Altavista. Więc zmiażdżyli to wszystko razem, aby uzyskać Yahoo! Szukaj.
Yahoo! Wyszukiwanie nie różni się zbytnio od Google. Ich własna strona internetowa mówi, że analizują strony przy użyciu wielu czynników, aby określić trafność dla zapytania, a wyniki tej analizy są tym, co użytkownik widzi, gdy wykonuje zapytanie.
oczywiście Yahoo! podobnie jak wszystkie inne silniki, spędził ostatni rok lub więcej pracy, aby poprawić swoje algorytmy rankingu. Kiedy pojawiły się po raz pierwszy, wydawało się, że położyły duży nacisk na stronę główną danej witryny, z mniejszym naciskiem na linki przychodzące, a nawet inne strony witryny.
jednak w ciągu ostatnich kilku miesięcy zauważyliśmy subtelną zmianę z rankingów tylko strony głównej na ranking wielu stron witryny, w którym Strona główna kiedyś była w rankingu.
ponadto mają tendencję do rangi linków przychodzących inaczej niż Google. Kiedy wykonujesz sprawdzanie linków w Google i to samo sprawdzanie w Yahoo! wyniki Google prawie zawsze są niższe. Google mówi, że to dlatego, że pokazują tylko migawkę” odpowiednich ” linków, podczas gdy Yahoo! pokazuje je wszystkie bez względu na znaczenie.
i są też inne różnice, ale jest zbyt wiele, aby przejść przez ten artykuł.
wystarczy powiedzieć, że Google i Yahoo! użyj mniej więcej tej samej technologii, aby uzyskać podobne wyniki. Przyznane widać różnice w rankingach, ale wynika to z wielu rzeczy. Na przykład Yahoo! wydaje się aktualizować rzadziej niż Google. Pracowałem z witrynami, które mają nowe strony indeksowane i ranking w Google w ciągu kilku dni od utworzenia, a czasami może to potrwać miesiące dla Yahoo! zrobić to samo.
zasadniczo mówię to: jeśli wszystko, co Cię interesuje, to ranga-Optymalizacja dla Google zapewni Ci przyzwoite rankingi w Yahoo! ale może to potrwać dłużej, aby pokazać się w Yahoo! wyniki wyszukiwania. To dlatego, że, w końcu, technologia stojąca za zarówno Yahoo! a Google jest bardzo podobne.
jutro jednak przedstawię wam dwa unikalne silniki. Jeden, który twierdzi, że używa technologii sieci neuronowych i jeden, który wykorzystuje społeczność jako podstawę swoich rankingów.