As páginas de cada site são regularmente rastreadas por robôs de busca, que processam as informações do site para que estejam disponíveis a pedido dos usuários nos mecanismos de busca. As visitas dos visitantes nos motores de busca têm um efeito positivo no tráfego do site e estimulam o desenvolvimento do recurso. Mas, se houver páginas no site cujas informações não se destinem ao público da Internet (por exemplo, as páginas pessoais dos usuários ou a página de registro), a transição dos motores de busca para essas páginas não é necessária e é melhor proibir a indexação dessas informações.
Necessário
- - tenha seu próprio site
- - conhecer os links para as páginas, cuja indexação deve ser proibida.
- - ter pelo menos conhecimento básico de HTML
Instruções
Passo 1
Para evitar que o robô de pesquisa indexe certas páginas do site, você precisa fazer alterações no arquivo robots.txt, se já estiver em seu site, ou criar esse arquivo.
Passo 2
Se o arquivo robots.txt já tiver sido carregado no site e for possível editar esse arquivo diretamente no painel de controle de recursos, abra o arquivo robots.txt por meio do serviço da web para edição.
etapa 3
Se não houver maneira de fazer alterações no arquivo desejado diretamente do painel de controle, abra o arquivo robots.txt em um navegador clicando no link desse arquivo. Copie todos os dados da página que se abre e cole na planilha do Bloco de Notas.
Passo 4
Se não houver robots.txt no site, abra o programa "Notepad", no novo documento do qual você deverá inserir o código necessário.
Etapa 5
Em uma folha em branco do documento de texto, escreva a primeira linha necessária:
Agente de usuário: *
Etapa 6
Em seguida, vá para a próxima linha pressionando a tecla Enter e digite o seguinte código:
Disallow: / index / page3Disallow: indica que não há indexação e / index / page3 é um link para uma página que não precisa ser indexada. Em vez de link / index / page3, insira um link para a página do seu site que você deseja bloquear para processamento por robôs.
Etapa 7
Observe que o próprio nome de domínio está faltando no início do link; sua presença na entrada indica a barra. Ao rastrear um site, um robô de pesquisa insere automaticamente um nome de domínio nesses links. Portanto, escreva links para as páginas necessárias dessa forma.
Etapa 8
Após Disallow: você pode colocar não apenas um link para uma página específica, mas também um link para qualquer seção ou diretório do site. Da mesma forma, você pode proibir a indexação da parte desejada do site.
Etapa 9
Se for necessário proibir o processamento por robôs de várias seções diferentes do recurso, escreva um link para cada seção ou página em uma nova linha, no início da qual não se esqueça de colocar a entrada Disallow:.
Etapa 10
Para concluir a alteração do robots.txt, clique no botão "Salvar" ao editar o arquivo no painel de controle ou salve um documento de texto com entradas sob o nome robots.txt e carregue esse arquivo no site.
