Mit so viel Gerede über Relevanz in diesen Tagen, Ich dachte, ich würde Ihnen einige der Technologie hinter der Suchmaschine vorstellen, und was die möglichen Unterschiede zwischen ihnen sein könnten. Es gibt einige interessante Ansätze zur Suchtechnologie, von Pre-Ranking-Ergebnissen im laufenden Betrieb über neuronale Netze bis hin zur Community-basierten Suche.
Vergleich der ‚Großen Vier‘
In diesen Artikeln werde ich mich auf ‚Die großen Vier‘ konzentrieren. Dies sind die Suchmaschinen, denen der Suchraum gehört. Sie sind Google, Yahoo!, MSN ,und fragen Sie Jeeves. Zuerst werden Google und Yahoo!
Google – Google ist wahrscheinlich die bekannteste Suchmaschine. Als sie auf den Markt kamen, galten sie als die relevantesten.
Wie Google funktioniert
Sie bestimmten die Relevanz hauptsächlich anhand ihres PageRank-Algorithmus. PageRank sagt im Wesentlichen, dass eine Website, die mehr eingehende Links als ihre Konkurrenten hat, wahrscheinlich eine bessere Website ist und daher einen höheren Rang haben sollte. Webmaster erkannten dies bald und erkannten auch, dass sie nur eine erhöhte Anzahl von Links erstellen mussten – genug Links, um ihre Konkurrenten zu übertreffen –, um einen hohen Rang einzunehmen. Google reagierte natürlich, indem es den Ranking-Algorithmus etwas änderte. Jetzt gibt es Elemente der Autorität und Relevanz, die auf den PageRank-Algorithmus angewendet werden.
Wie Google funktioniert, sobald die Seiten vom Googlebot gecrawlt und indiziert wurden (siehe meinen vorherigen Artikel über Suchmaschinenspinnen), werden sie zum Ranking an Google zurückgegeben.
Google verwendet Tausende von Servern, um diese Rankings zu berechnen. Sie betrachten Hunderte von Faktoren – sowohl auf der Seite als auch außerhalb der Seite (z. B. eingehende Links). Sie verwenden Hunderte von Algorithmen, um diese Berechnungen durchzuführen. Grundsätzlich sollte es einen Algorithmus pro Faktor geben. Die Algorithmen gewichten die Seiten und weisen ihre Werte zu. Diese Werte werden dann zur späteren Verwendung gespeichert.
Wenn ein Benutzer eine Abfrage ausführt, wägt ein weiterer Satz von Algorithmen die zuvor berechneten Werte gegeneinander ab, um die Gesamtrelevanz zu bestimmen. Die Ergebnisse werden dann an den Browser des Benutzers ausgegeben.
Wie man sich vorstellen kann, muss diese Art von Rechenleistungsbedarf enorm sein. Je nachdem, wie schnell Google Ergebnisse zurückgibt, können nicht viele Daten auf die Festplatten der einzelnen Server geschrieben werden. Daher muss man davon ausgehen, dass sich der größte Teil des Google-Index praktisch im Speicher befindet. Oder zumindest die Teile, die den Benutzern serviert werden.
Wenn Sie das nächste Mal eine Suche durchführen, sehen Sie sich an, wie schnell Google Ergebnisse zurückgibt. Ich suchte nach „serach engine“ (ich habe es absichtlich falsch geschrieben) und es wurden 68.900 Ergebnisse zurückgegeben. Darüber hinaus gab die Engine einige gesponserte Ergebnisse auf der Seite sowie einen Rechtschreibvorschlag zurück. Alles in 0,36 Sekunden.
Und für beliebte Abfragen ist der Motor noch schneller. Zum Beispiel dauerte die Suche nach Hurrikan Kathrina oder MTV Awards (beide jüngsten Ereignisse) weniger als .jeweils 2 sekunden.
Und Google ist berühmt für Dezentralisierung und Redundanz. Für jede einzelne zwischengespeicherte Seite werden wahrscheinlich 2-3 Kopien gespeichert, vielleicht sogar mehr. Google teilt den Index in sehr kleine Teile auf – jeweils nur 2 Megabyte, und wie bereits erwähnt, werden diese 2 Megabyte-Abschnitte in der gesamten Google-Infrastruktur gespeichert. Jeder 2-Megabyte-Abschnitt kann neben einem nicht verwandten Abschnitt gespeichert werden. Zum Beispiel kann es ein paar Seiten von einer Haustier-Website neben Seiten von einem Blog, neben Seiten von einer E-Commerce-Website.
Während jedes Rechenzentrum unabhängig voneinander agiert, gibt es wahrscheinlich einige Überschneidungen bei den Aufgaben.
Stellen Sie sich einen Raum vor, in dem Tausende von Computern gleichzeitig laufen. Stellen Sie sich nun denselben Raum vor, der immer wieder in alle anderen Rechenzentren in ganz Nordamerika kopiert wurde.
Aufgrund dieser verschiedenen Rechenzentren, die jeweils separat agieren, aber dasselbe Endziel verfolgen, haben wir den monatlichen „Google Dance“ erlebt. Der Google-Tanz war der Zeitraum, in dem Google seine Suchergebnisse in den Rechenzentren aktualisierte. Darüber hinaus würde jedes Rechenzentrum für sich selbst aktualisiert, sodass Seiten, die in einem Rechenzentrum auf Platz 1 gelistet sind, möglicherweise nicht in den Top 30 anderer Rechenzentren aufgeführt sind.
Natürlich haben sich die Faktoren, die Google zum Bewerten von Seiten verwendet hat, im Laufe der Zeit geändert. Sie legen weniger Wert auf PageRank, aber es ist immer noch wichtig. Es ist wichtig zu beachten, dass das Verschieben verschiedener Faktoren innerhalb der Berechnung die Rankings einer Website stark beeinflussen kann. Wenn die Site beispielsweise einen hohen PageRank, aber eine niedrige Keyword-Dichte hat, kann sie den Rang # 1 erreichen, wenn der PageRank die Berechnung später beeinflusst.
Und das ist wahrscheinlich das, was jetzt passiert – Google hat den PageRank-Faktor in der endgültigen Berechnung im Wesentlichen an eine andere Stelle verschoben. Denken Sie daran, dass es wahrscheinlich Hunderte von Faktoren gibt, die das Ranking beeinflussen. Indem Sie die Reihenfolge, in der sie auf die endgültigen Rankings angewendet werden, neu anordnen, kann dies dramatische Auswirkungen auf die Gesamtplatzierung auf der Suchergebnisseite haben.
Google scheint auch von einem einmal pro Monat aktualisierten zu einem ständig aktualisierten Index übergegangen zu sein. Wir bemerken die Änderungen nur selten, aber sie geschehen auf einer inkrementelleren Ebene, wobei größere Updates seltener stattfinden.
Ich denke, man könnte Google als eine Reihe von Ebenen betrachten – jede Ebene baut auf der Arbeit der vorherigen Ebene auf. Die oberste Ebene ist die einzige, der wir über den Browser ausgesetzt sind, aber die Seite, die Sie sehen, würde ohne die Arbeit der unteren Ebenen nicht existieren.
Schauen wir uns nun Yahoo
Yahoo! – Während niemand anderes als Yahoo!s Ingenieure sicher wissen, können wir spekulieren, dass Yahoo! Suchtechnologie funktioniert sehr ähnlich wie Googles
Der Grund Yahoo! ist so schwer zu messen ist, weil sie nicht wirklich eine Suchmaschine von Grund auf wie Google oder MSN gebaut haben. Natürlich die Yahoo! die Suche, die Sie sehen, ist einzigartig für sich, jedoch Yahoo! hat seine Suche auf dem Rücken anderer Technologien aufgebaut, die sie in den vergangenen Jahren gekauft haben.
Es war gerade um Weihnachten 2002, als Yahoo! gekauft Suchdienst Inktomi. Bis dahin Yahoo! hatte ihre Suchergebnisse entweder von Inktomi oder in jüngerer Zeit von Google erhalten. Eigentlich, Bis zu dem Zeitpunkt, als sie Inktomi kauften, gab es Spekulationen, dass Yahoo! würde Google kaufen.
Nur wenige Monate später kaufte Overture (ein Pay-per-Click–Werbefirma) Altavista – eine der ersten und stärksten Suchmaschinen da draußen. Dann, nur wenige Wochen nach dieser Ouvertüre. Alltheweb.com von SCHNELL.
Es war klar, dass Overture in den algorithmischen Suchraum einziehen würde.
Aber kurz nach diesem Grollen begann Yahoo! kann daran interessiert sein, einige oder alle Overture-Technologien zu kaufen. Und im Juli 2003 Yahoo! habe tatsächlich Ouvertüre gekauft.
Wir haben nicht viel über Yahoo! suche bis Februar 2004 – dann startete das Unternehmen seine eigene Version der algorithmischen Suche. Und es war nicht das, was viele erwartet hatten. Einige dachten, sie würden Inktomi einfach umbenennen, während andere dachten, sie würden einen der Ouvertüre-Käufe umbenennen und entweder Altavista oder Alltheweb Search in Yahoo! Suche.
Aber das ist nicht passiert. Yahoo! sie bauten ihre eigene Suche auf und schusterten Funktionen aus der gesamten Technologie zusammen, die sie besaßen.
Sie hatten die superschnellen Inktomi- und Altavista-Crawler sowie die überraschend guten Alltheweb- und Altavista-Ranking-Algorithmen. Also haben sie das alles zusammengestampft, um Yahoo! Suche.
Yahoo! Die Suche unterscheidet sich nicht wesentlich von Google. Ihre eigene Website sagt, dass sie Seiten mit vielen Faktoren analysieren, um die Relevanz für eine Suchanfrage zu bestimmen, und die Ergebnisse dieser Analyse sind das, was der Benutzer sieht, wenn er eine Abfrage ausführt.
Natürlich Yahoo! wie alle anderen Motoren, verbrachte das letzte Jahr oder mehr arbeiten, um seine Ranking-Algorithmen zu verbessern. Als sie zum ersten Mal herauskamen, schienen sie viel Wert auf die Homepage einer bestimmten Site zu legen, mit weniger Wert auf eingehende Links oder sogar auf die anderen Site-Seiten.
In den letzten Monaten haben wir jedoch eine subtile Verschiebung von nur Homepage-Rankings zu mehreren Site-Seiten-Rankings festgestellt, bei denen die Homepage einmal rangierte.
Außerdem neigen sie dazu, eingehende Links anders zu bewerten als Google. Wenn Sie eine Linkprüfung bei Google und dieselbe Prüfung bei Yahoo! die Google-Ergebnisse sind fast immer niedriger. Google sagt, dass dies daran liegt, dass sie nur eine Momentaufnahme der „relevanten“ Links anzeigen, während Yahoo! zeigt Sie alle unabhängig von ihrer Relevanz.
Und es gibt auch andere Unterschiede, aber es gibt zu viele, um in diesem Artikel durchzugehen.
Es genügt zu sagen, dass Google und Yahoo! verwenden Sie ungefähr die gleiche Technologie, um ähnliche Ergebnisse zu erzielen. Zugegeben, Sie werden Unterschiede in den Rankings sehen, aber das liegt an vielen Dingen. Zum Beispiel Yahoo! scheint weniger häufig als Google zu aktualisieren. Ich habe mit Websites gearbeitet, auf denen innerhalb weniger Tage nach der Erstellung neue Seiten indiziert und in Google eingestuft wurden, und manchmal kann Yahoo Monate dauern! um das gleiche zu tun.
Im Wesentlichen sage ich Folgendes: Wenn es Ihnen nur um den Rang geht, erhalten Sie durch die Optimierung für Google anständige Rankings in Yahoo! es kann jedoch länger dauern, bis Sie in Yahoo! Suchergebnisse. Das liegt daran, dass die Technologie hinter Yahoo! Google ist sehr ähnlich.
Morgen werde ich Ihnen jedoch zwei einzigartige Motoren vorstellen. Eine, die behauptet, neuronale Netzwerktechnologie zu verwenden, und eine, die Community als Grundlage für ihre Rankings verwendet.