Os bots dos mecanismos de busca estão constantemente escaneando sites para serem indexados. Mas por alguma razão você pode optar por esconder seus sites. Neste caso o robots.txt pode ser utilizado para impedir que os bots acessem a sua página. Neste tutorial você vai aprender como criar robots.txt.
Conteúdo
O que você vai precisar
Antes de iniciar você vai precisar:
- Acesso ao painel de controle de sua hospedagem ou FTP.
1º Passo — Acessar o Servidor e Criar robots.txt
Antes de mais nada, você precisa criar um arquivo para criar robots.txt. Para isso você pode usar um cliente FTP ou o Gerenciador de Arquivos. O arquivo deve ser colocado na mesma pasta onde se encontra seu site (geralmente public_html). Neste tutorial vamos usar o Gerenciador de Arquivos para criar robots.txt:
2º Passo — Editr o robots.txt
Cada mecanismo de busca usa seu crawler (bot ou user-agent) próprio. Ao criar robots.txt você pode especificar o crawler usando o User-agent. Existem centenas de crawlers, mas os mais comuns são:
- Googlebot
- Yahoo! Slurp
- bingbot
- AhrefsBot
- Baiduspider
- Ezooms
- MJ12bot
- YandexBot
Por exemplo, se você quer impedir o crawler do Bing de acessar o seu site, basta editar o robots.txt com a seguinte regra:
User-agent: bingbot Disallow: /
Caso você queira bloquar todos os crawlers é só usar o *:
User-agent: * Disallow: /
Se você quer prevenir que o crawler acesse algum diretório ou arquivo específico, a regra é semelhante, mas você precisa especificar o nome do arquivo ou pasta. Digamos que você não quer que os crawlers acessem o diretório artigos e o arquivo private.php apenas. Nesse caso o robots.txt vai ficar assim:
User-agent: *Disallow: /artigos/ Disallow: /private.php
Quando terminar de editar o arquivo robots.txt não esqueça de salvar as alterações.
Conclusão
Você acabou de aprender como impedir que crawlers (ou bots) de mecanismos de busca acessem e indexem o seu site. Isso é útil para prevenir que seu site apareça nos mecanismos de busca, claro, se é isso mesmo que você quer que aconteça.
Este post foi modificado pela última vez em agosto 18, 2020 1:17 pm