robots.txt é um arquivo de texto colocado na raiz de um site para indicar aos crawlers quais áreas eles podem ou não acessar durante o rastreamento. Em termos simples, ele funciona como uma orientação para robôs de busca, como o Googlebot, sobre o que vale a pena rastrear e o que deve ficar fora desse processo.
Na prática, o robots.txt ajuda a organizar o rastreamento do site. Ele não foi criado para esconder conteúdo nem para garantir que uma página desapareça dos resultados do Google. A função principal dele é controlar o acesso dos crawlers a determinadas URLs, diretórios ou arquivos.
O que é robots.txt, na prática
Uma forma simples de entender o robots.txt é pensar nele como uma camada de instrução técnica. O site publica esse arquivo em um endereço padrão, normalmente /robots.txt, e os buscadores consultam esse caminho antes de rastrear o domínio. A partir dali, leem as regras e ajustam o comportamento de crawl conforme o que está definido.
Isso costuma fazer sentido quando o site quer evitar desperdício de rastreamento em páginas pouco úteis para busca, áreas duplicadas, filtros, parâmetros ou ambientes que não precisam entrar no fluxo normal dos robôs. Em sites maiores, esse controle pode ajudar bastante na organização técnica do SEO. Essa interpretação decorre do uso que o Google descreve para gerenciar tráfego de crawl e evitar rastreamento de partes menos importantes do site.
robots.txt não é a mesma coisa que noindex
Essa é uma confusão muito comum. Muita gente bloqueia uma URL no robots.txt achando que isso, por si só, impede a indexação. Não é bem assim.
O próprio Google explica que uma página bloqueada no robots.txt ainda pode aparecer nos resultados se outros sites criarem links para ela. Isso acontece porque o robots.txt controla rastreamento, não necessariamente indexação. Quando a intenção é impedir que a página entre no índice de busca, o caminho mais adequado costuma ser usar noindex, seja por meta tag ou por cabeçalho HTTP.
Essa diferença é importante porque evita um erro clássico de SEO técnico: tentar resolver um problema de indexação com uma ferramenta pensada para crawl.
Como esse arquivo funciona
O robots.txt trabalha com regras voltadas a user-agents, que são os identificadores dos crawlers. Você pode criar instruções mais amplas, voltadas a todos os robôs, ou específicas para determinados bots. O protocolo também define esse arquivo como parte do Robots Exclusion Protocol, formalizado no RFC 9309.
Além disso, o arquivo precisa ficar na raiz correta do host ao qual se aplica. Um robots.txt em https://example.com/robots.txt vale para aquele protocolo, host e porta, mas não se estende automaticamente a outros subdomínios ou versões alternativas do site.
Exemplo de robots.txt
Um arquivo robots.txt pode ser tão simples quanto isto:
User-agent: *
Disallow: /admin/
Disallow: /busca/
Allow: /
Sitemap: https://www.seusite.com/sitemap.xmlNesse exemplo, o site está dizendo a todos os crawlers que eles não devem rastrear as pastas /admin/ e /busca/. Ao mesmo tempo, informa que o restante do site pode ser acessado normalmente e aponta onde está o sitemap.
Esse tipo de exemplo ajuda porque mostra que o robots.txt não é um conceito teórico. Ele é um arquivo real, curto e direto, usado para orientar o comportamento dos robôs de busca.
Onde o robots.txt faz sentido no mundo real
No dia a dia, o robots.txt costuma aparecer em projetos que precisam controlar melhor o orçamento de rastreamento, evitar que robôs gastem tempo em páginas internas sem valor estratégico ou reduzir o acesso automatizado a arquivos e áreas pouco relevantes para busca.
Isso pode incluir páginas com parâmetros, resultados internos de pesquisa, ambientes de teste expostos por engano, diretórios administrativos e conjuntos de URLs duplicadas. O ponto não é “trancar” o site, mas orientar o crawler para que ele priorize o que realmente importa. Essa é uma inferência prática baseada no uso descrito pelo Google para gerenciar tráfego de rastreamento e evitar crawl desnecessário.
Limites do robots.txt
O robots.txt tem limitações que vale conhecer. Primeiro, ele depende da cooperação do crawler. Buscadores respeitáveis costumam seguir essas regras, mas nem todo robô da internet faz isso. Por essa razão, o Google recomenda não tratar o arquivo como mecanismo de segurança. Conteúdo sensível deve ser protegido por autenticação ou por outros controles reais de acesso.
Outro ponto importante é que diferentes crawlers podem interpretar certos detalhes de forma diferente. Embora exista uma especificação formal, o comportamento prático pode variar conforme o sistema que lê o arquivo.
Erros comuns com robots.txt
Um dos erros mais frequentes é bloquear áreas importantes do site sem perceber o impacto disso no rastreamento. Outro é usar o arquivo para tentar remover páginas do Google, quando o problema exigiria noindex ou outra abordagem. Também é comum publicar regras em um local errado, como uma subpasta qualquer, o que invalida a aplicação do arquivo. O Google orienta que o robots.txt fique na raiz do site e em formato texto simples com codificação UTF-8.
Em outras palavras, o robots.txt é útil, mas exige cuidado. Uma regra mal escrita pode bloquear mais do que deveria e atrapalhar páginas que o site quer que sejam rastreadas normalmente.
Em resumo
robots.txt é um arquivo que orienta crawlers sobre quais partes de um site podem ou não ser rastreadas. Ele ajuda a organizar o crawl e pode ser valioso em estratégias de SEO técnico, sobretudo em sites maiores ou com muitas áreas de baixo valor para busca.
Ao mesmo tempo, ele não substitui mecanismos de indexação nem funciona como solução de segurança. O valor real do robots.txt está em usar essa ferramenta para dar direção ao rastreamento, sem confundir esse papel com o de esconder páginas ou remover conteúdo da busca.