Robots.txt explicado: o que ele realmente bloqueia (e o que não)

O arquivo que confunde mais profissionais de SEO do que qualquer outro

Perdi a conta das auditorias onde a primeira bandeira vermelha era um arquivo robots.txt que alguém escreveu com boas intenções e quebrou o site. Um dos meus favoritos de todos os tempos: um cliente cujo sitemap inteiro estava bloqueado, não porque ele quisesse, mas porque copiou um robots.txt "de melhores práticas" de um fórum que desabilitava /sitemap/ — enquanto o sitemap real estava em /sitemap.xml.

Uma barra diferente. Foi tudo que precisou. O Google rastreou a página inicial, viu que a URL do sitemap estava desabilitada e, silenciosamente, parou de descobrir metade do conteúdo.

A parte frustrante? Nada parecia errado. O site ranqueava bem para as páginas que o Google já conhecia. Mas páginas novas? Elas estavam rastreando para um vazio. Levei três horas para descobrir por que o conteúdo novo de um cliente não estava sendo indexado, e a resposta era uma linha em um arquivo de texto que estava errada há seis meses.

O que o robots.txt realmente faz

Robots.txt é um conjunto de regras que diz aos rastreadores quais caminhos eles podem e não podem solicitar. É lido pelo Googlebot, Bingbot e a maioria dos outros rastreadores antes de começarem a buscar o site.

O ponto crítico para entender: robots.txt não é controle de acesso. É uma solicitação. Uma placa educada na porta, não uma fechadura. E, crucialmente, bloquear uma URL no robots.txt NÃO a remove do índice. Se uma página já está indexada e você a bloqueia, o Google continua a exibindo nos resultados — apenas não pode mais rastreá-la, o que significa que não pode ver o título, a descrição nem as atualizações de conteúdo. Você fica com uma listagem com o snippet que o Google armazenou por último.

Robots.txt serve para economizar orçamento de rastreamento e manter o Googlebot longe do lixo. As páginas que você realmente não quer na busca merecem uma tag noindex, não um disallow.

A estrutura, desmistificada

Um arquivo robots.txt é chato de propósito:

User-agent: *
Disallow: /private/
Allow: /private/public/

Sitemap: https://seusite.com.br/sitemap.xml

- User-agent diz a quais regras de crawler elas se aplicam.

- Disallow lista caminhos que o rastreador não deve buscar.

- Allow abre exceções dentro de uma área desabilitada.

- Sitemap aponta os rastreadores para o seu sitemap.

O Googlebot suporta curingas — $ para "termina com" e * para "quaisquer caracteres" — mas muitos profissionais de SEO os usam em excesso e acabam com regras que bloqueiam mais do que o pretendido.

Os erros que prejudicam silenciosamente

1. Bloquear seu sitemap

Seu sitemap nunca deveria ser desabilitado. Eu realmente não sei por que tantos arquivos de exemplo o incluem. Bloquear o sitemap é como dizer ao Googlebot "não venha olhar minha lista de tudo".

2. Disallow em páginas que você quer indexar

Tudo o que você quer no índice do Google deve ser rastreável. Se você desabilitar, o Google não poderá descobri-lo a partir do seu site. Parece óbvio, mas já vi sites bloqueando todo o diretório do blog, categorias, produtos. Às vezes por uma regra antiga que ninguém lembra de ter adicionado.

3. Usar robots.txt em vez de noindex

Como eu disse: disallow não é noindex. Se você quer tirar uma página do índice, coloque uma tag noindex nela e deixe-a rastreável. Se você a bloquear no robots.txt, a tag noindex fica invisível para o Google (ele não pode buscar a página para ler a tag), e você fica em um estado pior do que começou.

4. Bloquear o Googlebot em vez de apenas recursos lentos

Bloquear um arquivo JS ou CSS inteiro para "economizar banda" é uma jogada da era de 2013. O Googlebot moderno renderiza páginas, e se você bloquear os recursos que fazem sua página renderizar, você acaba com uma página que o Google não consegue entender. Bloqueie os arquivos de recursos que realmente desperdiçam orçamento de rastreamento, não os que constroem suas páginas.

5. Nenhuma linha de sitemap

A diretiva Sitemap não é obrigatória, mas se seu site é grande ou complexo, é uma ajuda gratuita. Os rastreadores encontrarão seu sitemap pelo seu robots.txt, pela sua submissão no Search Console ou pelos links da sua página inicial. Não os faça trabalhar por isso.

Como verificar seu robots.txt corretamente

Esta é a passada de validação que executo:

1. Busque seu robots.txt e leia cada regra linha por linha.
2. Confirme que o caminho do sitemap corresponde exatamente à localização real do sitemap.
3. Verifique se nenhuma regra bloqueia /, /sitemap.xml ou seus diretórios principais.
4. Garanta que qualquer Disallow que você tenha seja para páginas que você realmente não quer rastrear.
5. Teste algumas URLs reais contra suas regras com um testador de robots.
6. Verifique se você ainda consegue buscar suas páginas em um navegador anônimo — robots.txt também bloqueia seu próprio navegador se você estiver em um caminho desabilitado.

O verificador de robots.txt do AuditMe faz os passos 1 a 5 por você. Dê a ele um domínio, ele puxa o arquivo, avalia as regras contra seus caminhos-chave e sinaliza as minas terrestres — incluindo o clássico do bloqueio do sitemap.

Você deveria simplesmente excluir o arquivo?

Se seu robots.txt está uma bagunça e você não tem certeza de quais regras manter, a resposta honesta costuma ser sim: exclua tudo e comece do zero. Um arquivo vazio significa "rastreie tudo o que puder encontrar", que é o padrão correto para 95% dos sites. Depois, adicione apenas as regras que você consegue explicar em voz alta em uma frase.

Para sites que precisam de estrutura — uma área de staging, um caminho admin privado, um buraco negro de paginação infinita — mantenha o arquivo mínimo e comente seu raciocínio para que a próxima pessoa não precise fazer engenharia reversa.

FAQ

Bloquear uma página no robots.txt a remove do Google?

Não. Apenas impede o Google de rastreá-la. A página pode permanecer no índice com conteúdo desatualizado. Use noindex se quiser que a página desapareça.

Meu sitemap deve estar listado no robots.txt?

Sim, e o caminho deve corresponder exatamente. É uma pequena conveniência que poupa os rastreadores de procurá-lo.

O robots.txt pode impedir o Google de renderizar JavaScript?

Sim, indiretamente. Se você desabilitar os arquivos JS ou CSS, o Googlebot não consegue renderizar a página corretamente, o que pode tornar seu conteúdo invisível mesmo que o HTML seja rastreável.

Valide antes que custe caro

Os bugs mais caros do SEO são os que parecem saudáveis. Um robots.txt ruim é o exemplo perfeito: o site "funciona", o tráfego está bem e ninguém percebe que o conteúdo novo não está sendo indexado silenciosamente. Execute uma verificação de robots.txt no seu domínio hoje, leia cada regra e exclua qualquer coisa que você não consiga explicar. Seu eu do futuro agradecerá.