Escolha uma Página

GooglebotOlá pessoal! Para começar bem 2012, esta é a primeira publicação do blog da BRGWeb. E nessa primeira publicação eu quero explicar um pouco sobre os robôs dos mecanismos de busca, como eles funcionam e porque eles são tão importantes para o marketing digital.

A primeira vez que ouvi falar dos “robôs de busca” foi quando conheci o Google lá pro final de 1998. Já existiam bons motores de busca na época, como o Yahoo e o Altavista, mas muitas vezes a gente buscava por uma coisa e encontrava outra. Nesse novo site a maioria dos resultados era relevante, ou seja, tinham realmente a ver com o que estávamos buscando. Ao conversar com um amigo que conseguia ser mais nerd do que eu, ele me contou que os caras do Google tinham criado robôs que ficavam buscando os sites na internet e conferindo a relevância através de um algoritmo chamado PageRank. Imediatamente imaginei um galpão industrial com milhares de robôs androids sentados em frente os seus desktops digitando os termos de busca… santa ignorância…

Definição

Os robôs de busca são uma espécie de programa de computador que navegam pela internet lendo os sites e salvando cópias deles. Também são chamados de spiders, crawlers ou bots. O primeiro nome “spiders” tem a ver com a natureza da internet, em ser uma teia ou “web”. Logo os robôs que “andam” por essa teia seriam as aranhas ou spiders. O segundo, “crawler” já virou sinônimo de rastreador, mas sua origem vem do verbo “crawl”, comportamento desses programas, que é algo como rastejar, se embrenhar em frestas. O terceiro é apenas uma abreviação de “robots”.

Essa terceira denominação é a origem dos nomes específicos de cada programa, como os Googlebots que são os robôs do Google. Cada mecanismo de busca tem um algorítimo específico que é rodado pelo seu bot, especificando como a informação vai ser classificada e indexada enquanto eles rastreiam as páginas.

Como eles funcionam

O processo de rastreamento ou “crawling” ocorre em três etapas. Uma vez que chega à página inicial de um site o bot lê todo o código dessa página e envia uma cópia dessa informação para o banco de dados do seu servidor. Depois disso, ele busca nesse código os links para outras páginas e cria uma cópia de si mesmo para visitar essas páginas. Esses dois primeiros passos são repetidos continuamente até chegar a um beco sem saída, ou seja, uma página que não tenha mais links ou que só tenha links para páginas já indexadas. A terceira e última etapa é conferir se todas as páginas foram lidas, indexadas e corretamente salvas no servidor de origem, dando fim ao bot.

O que é feito com as informações colhidas pelos bots

Uma visão errada que as pessoas têm sobre os mecanismos de busca é que eles de fato “buscam” a informação na internet no momento que você coloca o termo de pesquisa na caixa correspondente e aperta “ENTER”. Vamos relembrar o segundo passo, que foi o envio de uma cópia da página pro servidor do bot? É nesse banco de dados que o motor de busca de fato “busca” a informação requerida pelo usuário. É por isso que os bots rastreiam os sites em um determinado intervalo de tempo e não por ordem ou pedido do usuário ou administrador do site.

Primeira versão do Google

Quando é enviado um termo de pesquisa ou palavra-chave pelo formulário de busca, aquela caixinha branca onde colocamos o texto e clicamos em “buscar”, o motor de busca tenta achá-la em seu banco de dados. Ao encontrar a palavra-chave o mecanismo de busca cria uma lista e classifica os sites daquela lista. Cada mecanismo de busca tem sua própria forma de avaliar as páginas, mas o que é comum a todos eles é a posição da palavra-chave e o assunto tratado na página.

Os resultados então são mostrados em ordem decrescente de classificação, com o mais bem classificado em primeiro. Por isso é importante otimizar o seu site para ser lido pelos bots porque se isso não acontecer você nunca aparecerá bem nos mecanismos de busca.

Como a otimização de um site envolve muitas etapas, em uma outra publicação entrarei em maiores detalhes sobre como você pode fazer o seu site ser lido facilmente pelos bots.

Se você tiver qualquer dúvida deixe um comentário que ficarei feliz em responder. Abraços!