As páginas indexadas pelos motores de busca garantem um tráfego estável para o recurso. Mas se no momento seu site está em desenvolvimento, então o aparecimento de robôs de busca nas páginas do recurso é altamente indesejável, já que informações sobre seções não preenchidas que entraram na busca podem privar seu recurso de visitantes alvo por um longo tempo. Para proteger temporariamente o site de rastreamento por robôs, você precisa proibir sua indexação. Para fazer isso, basta fazer algumas alterações simples no código do recurso.
É necessário
- - ter pelo menos conhecimento básico de HTML
- - saiba como abrir a pasta raiz do diretório de arquivos do seu site
Instruções
Passo 1
Primeiro, verifique se o seu site possui um arquivo robots.txt que é responsável pela indexação correta do recurso. Para fazer isso, vá para http: ⁄ ⁄ www site ru ⁄ robots.txt ⁄, substituindo http: ⁄ ⁄ www site ru pelo endereço do seu site.
Passo 2
Se, ao clicar neste link, abrir um registro do formulário "User-agent: * Disallow …", isso significa que o arquivo necessário está presente em seu site. Nesse caso, vá para a pasta raiz onde todos os arquivos do seu site estão armazenados e encontre o arquivo robots.txt.
etapa 3
Se o sistema de gerenciamento do seu site permite que você edite esse arquivo diretamente da pasta raiz, abra o arquivo robots.txt por meio de um serviço auxiliar. Se não for possível fazer qualquer alteração no arquivo por meio da interface do sistema, salve o documento no computador e abra-o por meio do programa Bloco de Notas.
Passo 4
Altere as duas primeiras linhas do documento para o seguinte:
Agente de usuário: *
Disallow: /.
A inscrição "User-agent: *" indica que as seguintes regras se aplicam a todos os robôs de pesquisa e "Disallow: /" significa que o site inteiro não está indexado. Após corrigir o conteúdo, salve o arquivo.
Etapa 5
Se o seu site não tiver um arquivo robots.txt, crie um novo documento no Bloco de Notas. Insira as mesmas duas entradas nele, colocando cada uma delas em uma nova linha, e salve o arquivo usando o comando "Arquivo-Salvar como …" sob o nome de robots.txt.
Etapa 6
Faça o upload do documento criado para a pasta raiz do seu site e verifique o seu funcionamento seguindo novamente o link http: ⁄ ⁄ www · site · ru ⁄ robots.txt ⁄, onde em vez de "http: ⁄ ⁄ www · site · ru" digite o endereço do seu recurso.
Etapa 7
Outra forma de proibir a indexação é inserir metatags especiais no código HTML das páginas do site. Para utilizar este método, encontre no código de uma das páginas do site as inscrições " e coloque-o imediatamente após a " linha ".
Etapa 8
Se o seu site for escrito em HTML, este código deve ser inserido em todas as páginas. Para um recurso PHP, é suficiente colocar tal entrada no arquivo header.php.
