A indexação é o processo de verificação de arquivos localizados em um recurso da Internet por um robô de pesquisa. Este procedimento é realizado para que o site fique disponível nos resultados da pesquisa para as várias consultas do motor de pesquisa. Um dos maiores motores de busca da atualidade é o Yandex, que realiza essa varredura à sua maneira.
Instruções
Passo 1
A indexação do site da Internet é realizada por programas automáticos especiais - robôs de busca, que rastreiam automaticamente o surgimento de novos sites na World Wide Web, varrendo constantemente páginas da Internet localizadas na Internet, arquivos e links para eles em cada recurso.
Passo 2
Para fazer a varredura, o robô vai para o diretório onde o recurso está localizado em um servidor específico. Ao escolher um novo local, o robô se orienta pela sua disponibilidade. Por exemplo, há uma opinião de que o Yandex primeiro verifica os sites criados em um domínio do idioma russo e em russo - ru, rf, su ou ua, e só então se move para outras regiões.
etapa 3
O robô navega até o site e verifica sua estrutura, primeiro procurando por arquivos que indiquem pesquisas futuras. Por exemplo, um site é verificado para Sitemap.xml ou robots.txt. Esses arquivos podem ser usados para definir o comportamento do robô de pesquisa durante a varredura. Usando o mapa do site (sitemap.xml), o robô tem uma ideia mais precisa da estrutura do recurso. O webmaster usa o robots.txt para definir os arquivos que ele não gostaria que fossem exibidos nos resultados da pesquisa. Por exemplo, podem ser informações pessoais ou outros dados indesejados.
Passo 4
Depois de escanear esses dois documentos e receber as instruções necessárias, o robô começa a analisar o código HTML e a processar as tags recebidas. Por padrão, na ausência de um arquivo robots.txt, o mecanismo de pesquisa começa a processar todos os documentos armazenados no servidor.
Etapa 5
Ao clicar em links em documentos, o robô também recebe informações sobre outros sites que estão na fila para verificação seguindo este recurso. Os arquivos digitalizados no site são salvos como uma cópia de texto e estrutura em servidores em centros de dados Yandex.
Etapa 6
A necessidade de nova digitalização também é determinada automaticamente por robôs. O programa compara o resultado da varredura existente com a versão atualizada do site quando passa pela indexação novamente. Se os dados recebidos pelo programa forem diferentes, a cópia do site também é atualizada no servidor Yandex.
