com tanta conversa sobre relevância hoje em dia, eu pensei que eu iria apresentá-lo a alguma da tecnologia por trás do motor de busca, e quais as potenciais diferenças entre eles poderiam ser. Há algumas tomadas interessantes sobre a tecnologia de busca de resultados pré-ranking na mosca para redes neurais para a pesquisa baseada na comunidade.Comparando os quatro grandes nestes artigos, vou concentrar-me nos quatro grandes. Estes são os motores considerados donos do espaço de busca. Eles são Google, Yahoo!, MSN, e Ask Jeeves. O primeiro será Google e Yahoo!
o Google-Google é provavelmente o motor de busca mais conhecido. Quando foram lançados, foram considerados os mais relevantes.
How Google Works
They determined relevancy primarily on their PageRank algorithm. PageRank essencialmente diz que um site que tem mais ligações de entrada do que seus concorrentes é provavelmente um site Melhor, portanto, deve classificar mais. Os Webmasters logo perceberam isso, e também perceberam que tudo que eles tinham que fazer era construir um número maior de links – links suficientes para superar seus concorrentes – a fim de classificar altamente. O Google, é claro, reagiu alterando um pouco o algoritmo de classificação. Agora há elementos de autoridade e relevância aplicados ao algoritmo PageRank.
como o Google works é, uma vez que as páginas são rastejadas e indexadas por Googlebot (veja meu artigo anterior sobre aranhas de motor de busca) eles são devolvidos ao Google para classificação.
o Google emprega milhares de servidores para calcular esses rankings. Eles olham para centenas de fatores – tanto na página e fora da página (como links de entrada). Eles usam centenas de algoritmos para realizar estes cálculos. Essencialmente deve haver um algoritmo por fator. Os algoritmos pesam as páginas, e atribuem seus valores. Estes valores são então armazenados para uso posterior.
quando um usuário realiza uma consulta, mais um conjunto de algoritmos pesam os valores previamente calculados uns contra os outros para determinar a relevância global. Os resultados são então outputted ao navegador de usuários.
como se pode imaginar, este tipo de exigência de poder de processamento deve ser enorme. Além disso, com base em quão rápido o Google retorna resultados, não Muito dados podem ser escritos para os discos rígidos dos servidores individuais. Portanto, deve-se assumir que a maioria do Índice Google reside virtualmente na memória. Ou pelo menos as partes que são servidas aos usuários.
da próxima vez que efectuar uma pesquisa, veja a rapidez com que o Google devolve os resultados. Eu procurei por “motor serach” (I intencionalmente mis-soletrou-o) e ele devolveu 68.900 resultados. Além disso, o motor devolveu alguns resultados patrocinados ao longo do lado da Página, bem como uma sugestão ortográfica. Tudo em 0,36 segundos.
E para consultas populares o motor é ainda mais rápido. Por exemplo, as buscas por Hurricane Kathrina ou MTV awards (ambos eventos recentes) levaram menos de .Dois segundos cada.
E o Google é famoso pela descentralização e redundância. Para cada página em cache há provavelmente 2-3 cópias armazenadas, talvez até mais. O Google quebra o índice em partes muito pequenas-tão pequenas quanto 2 Megabytes cada, e como eu mencionei anteriormente, essas seções de 2 Megabyte são armazenadas em toda a infra-estrutura do Google. Cada secção de 2 Megabyte pode ser armazenada ao lado de uma secção não relacionada. Por exemplo, pode haver algumas páginas de um site pet ao lado de páginas de um blog, ao lado de páginas de um site de E-commerce.
enquanto cada datacenter Age independente do outro, há provavelmente alguma sobreposição nas tarefas.Imagine uma sala com milhares de computadores a funcionar em uníssono uns com os outros. Agora imagine que a mesma sala copiada várias vezes para todos os outros centros de dados espalhados por toda a América do Norte.
é por causa destes diferentes centros de dados, cada um agindo separadamente, mas com o mesmo objetivo final, que costumávamos experimentar o Google Dance mensal. O Google Dance foi o período de tempo em que o Google atualizaria seus resultados de pesquisa em todos os centros de dados. Além disso, cada centro de dados atualizaria por conta própria, de modo que as páginas que podem ter classificado #1 em um centro de dados podem não ter aparecido no top 30 em outros centros de dados.
é claro que os fatores que o Google usou para classificar páginas mudou ao longo do tempo. Eles estão colocando menos ênfase no PageRank, mas ainda é importante. É importante notar que mover diferentes fatores em torno do cálculo pode ter um impacto muito grande na classificação de um site. Por exemplo, se o site tem um PageRank alto, mas uma densidade de palavra-chave baixa, ele pode classificar #1 se PageRank afeta o cálculo mais tarde, no entanto, o site pode desaparecer dos resultados se PageRank é considerado mais cedo.
E isto é provavelmente o que está acontecendo agora-o Google essencialmente moveu o fator PageRank para outro lugar no cálculo final. Lembre-se, há provavelmente centenas de fatores que afetam rankings. Ao reorganizar a ordem na qual eles são aplicados aos rankings finais pode ter um impacto dramático na colocação global na página de resultados da pesquisa.
o Google também parece ter mudado de uma atualização de uma vez por mês para um índice de atualização mais perpetuamente atualizado. Nós só raramente notamos que as mudanças acontecem, mas elas acontecem em um nível mais incremental, com mais atualizações importantes acontecendo com menos frequência.
acho que se poderia ver o Google como uma série de camadas – Cada camada de construção sobre o trabalho realizado pela camada anterior. A camada superior é a única a que estamos expostos através do navegador, no entanto, essa página que você vê não existiria sem o trabalho realizado pelas camadas inferiores.
Now, let’s Look at Yahoo
Yahoo! – Sem ninguém além do Yahoo!os engenheiros sabem com certeza que podemos especular que o Yahoo! a tecnologia de pesquisa funciona muito semelhante ao Google ‘ s
a razão Yahoo! é tão difícil de avaliar é porque eles realmente não construíram um motor de busca a partir do zero, como Google ou MSN. Claro que o Yahoo! search you see é único em si mesmo, no entanto Yahoo! construiu sua busca nas costas de outras tecnologias que compraram em anos anteriores.
foi por volta do Natal de 2002 quando o Yahoo! serviço de busca adquirido Inktomi. Até lá, Yahoo! tinha recebido seus resultados de pesquisa quer de Inktomi ou mais recentemente Google. Na verdade, até o momento em que eles compraram Inktomi havia especulação de que Yahoo! compraria o Google.
foi apenas alguns meses após essa que Overture (um pay-per-click publicidade da empresa) comprou Altavista – um dos primeiros e mais fortes motores de busca lá fora. Então, apenas algumas semanas depois daquela abertura comprada Alltheweb.com de FAST.
ficou claro que a abertura iria se mover para o espaço de busca algorítmica.
mas logo após este tumblings começou Que Yahoo! pode estar interessado em comprar alguma ou toda a tecnologia da Overture. E em julho de 2003, o Yahoo! realmente comprou abertura.Não ouvimos muito sobre o Yahoo! busca até fevereiro de 2004-foi quando a empresa lançou sua própria versão de pesquisa algorítmica. E não era o que muitos esperavam. Alguns pensaram que eles simplesmente renomeariam Inktomi, enquanto outros pensavam que iriam renomear uma das compras da Overture e transformar Altavista ou Alltheb search em Yahoo! pesquisa.Mas não foi isso que aconteceu. Yahoo! construíram a sua própria busca, comprando recursos de toda a tecnologia que possuíam.
Eles tinham super rápido Inktomi e Altavista rastreadores, bem como o surpreendentemente boa, Alltheweb e Altavista algoritmos de classificação. Então eles misturaram tudo para apanhar o Yahoo! Pesquisa.
Yahoo! A pesquisa não é muito diferente do Google. Seu próprio site diz que eles analisam páginas usando muitos fatores para determinar a relevância para uma consulta de pesquisa, e os resultados dessa análise são o que o usuário vê quando realiza uma consulta.
claro Yahoo! como todos os outros motores, passou o último ano ou mais trabalhando para melhorar seus algoritmos de classificação. Quando eles saíram pela primeira vez, parecia que eles colocaram muita ênfase na página inicial de um determinado site, com menos ênfase em links de entrada, ou mesmo as outras páginas do site.
no entanto, ao longo dos últimos meses, temos notado uma mudança sutil de homepage apenas rankings para várias páginas de site ranking onde a home page uma vez ranked.
além disso, eles tendem a classificar os links de entrada de forma diferente do Google. Quando você realiza uma verificação de link no Google e a mesma verificação no Yahoo! os resultados do Google quase sempre tendem a ser mais baixos. O Google diz que isso é porque eles só mostram uma foto dos links” relevantes”, enquanto o Yahoo! mostra-os a todos independentemente da relevância.
E há outras diferenças também, mas há muitos para passar por este artigo.
basta dizer que o Google e o Yahoo! use aproximadamente a mesma tecnologia para retornar resultados semelhantes. É certo que ireis ver diferenças nas classificações, mas isto é devido a muitas coisas. Por exemplo, Yahoo! parece actualizar menos frequentemente do que o Google. Eu trabalhei com sites que têm novas páginas indexadas e ranking no Google dentro de dias de criação e, às vezes, pode levar meses para o Yahoo! fazer o mesmo.
essencialmente o que estou dizendo É o seguinte: Se tudo o que você está preocupado é rank – então otimizar para o Google vai lhe dar rankings decentes no Yahoo! mas pode demorar mais para você aparecer no Yahoo! pesquisa. Isso é porque, no final, a tecnologia por trás de ambos Yahoo! e o Google é muito semelhante.
amanhã, no entanto, vou apresentá-los a dois motores únicos. Um que afirma usar tecnologia de rede Neural e um que usa comunidade como base para seus rankings.