Con così tanto parlare di rilevanza in questi giorni, ho pensato di presentarvi alcune delle tecnologie dietro il motore di ricerca, e quali potrebbero essere le potenziali differenze tra di loro. Ci sono alcuni interessanti introiti sulla tecnologia di ricerca dai risultati pre-ranking al volo per le reti neurali alla ricerca basata sulla comunità.
Confrontando il ‘Big Four’
In questi articoli, mi concentrerò su ‘The Big Four.”Questi sono i motori considerati proprietari dello spazio di ricerca. Sono Google, Yahoo!, MSN, e chiedere Jeeves. Il primo sarà Google e Yahoo!
Google-Google è probabilmente il motore di ricerca più noto. Quando hanno lanciato sono stati considerati i più rilevanti.
Come funziona Google
Hanno determinato la pertinenza principalmente sul loro algoritmo PageRank. PageRank dice essenzialmente che un sito che ha più link in entrata rispetto ai loro concorrenti è probabilmente un sito migliore, quindi dovrebbe rango più alto. I webmaster presto capito questo, e anche capito che tutto quello che dovevano fare era costruire un numero maggiore di link – abbastanza link per superare i loro concorrenti – al fine di rango altamente. Google ovviamente ha reagito cambiando un po ‘ l’algoritmo di classifica. Ora ci sono elementi di autorità e pertinenza applicati all’algoritmo PageRank.
Come funziona Google è, una volta che le pagine sono strisciato e indicizzati da Googlebot (vedere il mio precedente articolo su spider dei motori di ricerca) vengono restituiti a Google per la classifica.
Google impiega migliaia di server per calcolare queste classifiche. Guardano centinaia di fattori, sia nella pagina che fuori dalla pagina (come i link in entrata). Usano centinaia di algoritmi per eseguire questi calcoli. Essenzialmente dovrebbe esserci un algoritmo per fattore. Gli algoritmi ponderano le pagine e assegnano i loro valori. Questi valori vengono quindi memorizzati per un uso successivo.
Quando un utente esegue una query, ancora un altro insieme di algoritmi pesare i valori precedentemente calcolati uno contro l’altro per determinare la rilevanza complessiva. I risultati vengono quindi inviati al browser degli utenti.
Come si può immaginare, questo tipo di requisiti di potenza di elaborazione deve essere enorme. Inoltre, in base alla velocità con cui Google restituisce i risultati, non è possibile scrivere molti dati sui dischi rigidi dei singoli server. Pertanto, si deve supporre che la maggior parte dell’indice di Google risiede praticamente in memoria. O almeno le parti che vengono servite agli utenti.
la prossima volta che esegui una ricerca, guarda quanto velocemente Google restituisce i risultati. Ho cercato “serach engine” (l’ho intenzionalmente scritto male) e ha restituito 68.900 risultati. Inoltre, il motore ha restituito alcuni risultati sponsorizzati sul lato della pagina, oltre a un suggerimento di ortografia. Tutto in 0,36 secondi.
E per le query popolari il motore è ancora più veloce. Ad esempio, le ricerche per l’uragano Kathrina o MTV awards (entrambi gli eventi recenti) ha preso meno di .2 secondi ciascuno.
E Google è famoso per il decentramento e la ridondanza. Per ogni singola pagina memorizzata nella cache ci sono probabilmente 2-3 copie memorizzate, forse anche di più. Google rompe l’indice in parti molto piccole-piccole come 2 Megabyte ciascuno, e come ho detto in precedenza, queste sezioni 2 Megabyte sono memorizzati in tutta l’infrastruttura di Google. Ogni sezione da 2 megabyte può essere memorizzata accanto a una sezione non correlata. Ad esempio, potrebbero esserci alcune pagine di un sito di animali domestici accanto alle pagine di un blog, accanto alle pagine di un sito di e-commerce.
Mentre ogni datacenter agisce indipendentemente dall’altro, è probabile che vi sia qualche sovrapposizione nelle attività.
Immagina una stanza con migliaia di computer in esecuzione all’unisono tra loro. Ora immagina quella stessa stanza copiata più e più volte in tutti gli altri data center sparsi in tutto il Nord America.
È a causa di questi diversi data center, ognuno dei quali agisce separatamente, ma con lo stesso obiettivo finale, che abbiamo usato per sperimentare il “Google Dance” mensile. La danza di Google è stato quel periodo di tempo in cui Google avrebbe aggiornare i loro risultati di ricerca attraverso i data center. Inoltre, ogni data center si aggiornerebbe da solo, quindi le pagine che potrebbero essere classificate #1 in un data center potrebbero non essere apparse nella top 30 su altri data center.
Naturalmente i fattori che Google ha usato per classificare le pagine è cambiato nel tempo. Stanno ponendo meno enfasi sul PageRank, ma è ancora importante. È importante notare che lo spostamento di diversi fattori all’interno del calcolo può influire notevolmente sulle classifiche di un sito. Ad esempio, se il sito ha un PageRank alto, ma una densità di parole chiave bassa, può classificare #1 se il PageRank influisce sul calcolo in seguito, tuttavia il sito potrebbe scomparire dai risultati se il PageRank è considerato prima.
E questo è probabilmente ciò che sta accadendo ora-Google ha essenzialmente spostato il fattore PageRank da qualche altra parte nel calcolo finale. Ricordate, ci sono probabilmente centinaia di fattori che influenzano classifiche. Riorganizzando l’ordine in cui vengono applicati alle classifiche finali può avere un impatto drammatico sul posizionamento complessivo nella pagina dei risultati di ricerca.
Sembra anche che Google sia passato da un aggiornamento una volta al mese a un indice di aggiornamento più perpetuo. Notiamo solo raramente che i cambiamenti avvengono, ma si verificano su un livello più incrementale, con aggiornamenti più importanti che si verificano meno frequentemente.
Credo che si potrebbe vedere Google come una serie di livelli – ogni strato sulla base del lavoro svolto dal livello prima. Il livello più alto è l’unico a cui siamo esposti tramite il browser, tuttavia quella pagina che vedi non esisterebbe senza il lavoro svolto dai livelli inferiori.
Ora, diamo un’occhiata a Yahoo
Yahoo! – Mentre nessuno diverso da Yahoo!s ingegneri sanno per certo, possiamo ipotizzare che Yahoo! la tecnologia di ricerca funziona molto simile a Google
Il motivo Yahoo! è così difficile da valutare perché non hanno davvero costruito un motore di ricerca da zero come Google o MSN. Naturalmente il Yahoo! la ricerca che vedi è unica a sé stante, tuttavia Yahoo! ha costruito la sua ricerca sulle spalle di altre tecnologie che hanno acquistato negli anni precedenti.
Era proprio intorno al Natale del 2002 quando Yahoo! acquistato servizio di ricerca Inktomi. Fino ad allora Yahoo! avevano ricevuto i loro risultati di ricerca sia da Inktomi o più recentemente Google. Infatti, fino al momento in cui hanno acquistato Inktomi c’era la speculazione che Yahoo! comprerebbe Google.
E ‘ stato solo pochi mesi dopo questo che Overture (una società di pubblicità pay-per-click) acquistato Altavista – uno dei primi e più forti motori di ricerca là fuori. Poi, solo poche settimane dopo che Ouverture acquistato Alltheweb.com da VELOCE.
Era chiaro che l’Overture si sarebbe spostata nello spazio di ricerca algoritmico.
Ma poco dopo questo brontolii iniziato che Yahoo! potrebbe essere interessato ad acquistare parte o tutta la tecnologia di Overture. E nel luglio 2003 Yahoo! ha davvero comprare Ouverture.
Non abbiamo sentito molto parlare di Yahoo! ricerca fino a febbraio 2004-che è quando la società ha lanciato la propria versione di ricerca algoritmica. E non era quello che molti si aspettavano. Alcuni pensavano che avrebbero semplicemente rebrand Inktomi, mentre altri pensavano che avrebbero rebrand uno degli acquisti Ouverture e trasformare Altavista o Alltheweb search in Yahoo! ricerca.
Ma non è quello che è successo. Yahoo! costruito la propria ricerca, cobbling insieme caratteristiche da tutta la tecnologia che possedevano.
Avevano i crawler Inktomi e Altavista super veloci, così come gli algoritmi di ranking Alltheweb e Altavista sorprendentemente buoni. Così hanno schiacciato che tutti insieme per ottenere Yahoo! Ricerca.
Yahoo! La ricerca non è molto diversa da quella di Google. Il loro sito web dice che analizzano le pagine utilizzando molti fattori per determinare la pertinenza di una query di ricerca e i risultati di tale analisi sono ciò che l’utente vede quando esegue una query.
Naturalmente Yahoo! come tutti gli altri motori, ha trascorso l’ultimo anno o più a lavorare per migliorare i suoi algoritmi di ranking. Quando sono usciti per la prima volta, sembrava che avessero posto molta enfasi sulla home page di un determinato sito, con meno enfasi sui link in entrata o anche sulle altre pagine del sito.
Tuttavia, negli ultimi mesi abbiamo notato un sottile spostamento dalla homepage solo classifiche a più pagine del sito classifica dove la home page una volta classificato.
Inoltre, tendono a classificare i link in entrata in modo diverso rispetto a Google. Quando si esegue un controllo di collegamento su Google e lo stesso controllo su Yahoo! i risultati di Google tendono quasi sempre ad essere più bassi. Google dice che questo è perché mostrano solo un’istantanea dei link “rilevanti” mentre Yahoo! mostra tutti indipendentemente dalla rilevanza.
E ci sono anche altre differenze, ma ce ne sono troppe per passare attraverso in questo articolo.
Basti dire che Google e Yahoo! utilizzare più o meno la stessa tecnologia per restituire risultati simili. Certo vedrete differenze nelle classifiche, ma questo è dovuto a molte cose. Ad esempio, Yahoo! sembra aggiornare meno frequentemente di Google. Ho lavorato con siti che hanno nuove pagine indicizzate e classificate in Google entro pochi giorni dalla creazione e, a volte, possono essere necessari mesi per Yahoo! per fare lo stesso.
Essenzialmente quello che sto dicendo è questo: se tutto ciò che ti interessa è il rango, allora l’ottimizzazione per Google ti porterà a classifiche decenti in Yahoo! ma si può solo prendere più tempo per voi di presentarsi in Yahoo! risultati della ricerca. Questo perché, alla fine, la tecnologia dietro sia Yahoo! e Google è molto simile.
Domani, però, vi presento due motori unici. Uno che sostiene di utilizzare la tecnologia di rete neurale e uno che utilizza la Comunità come base per le sue classifiche.