robots.txt para IAs: Como Configurar Corretamente para GPTBot, ClaudeBot e Mais

O arquivo robots.txt e a primeira linha de defesa (ou boas-vindas) para os crawlers de IA. Configurar errado pode significar invisibilidade total para ChatGPT, Claude e Perplexity.

Quais sao os principais crawlers de IA?

| Crawler | Empresa | IA que alimenta | |---------|---------|-----------------| | GPTBot | OpenAI | ChatGPT | | ClaudeBot | Anthropic | Claude | | PerplexityBot | Perplexity | Perplexity AI | | Google-Extended | Google | AI Overviews, Bard | | CCBot | Common Crawl | Varios LLMs |

Configuracao recomendada

Se voce quer aparecer nas respostas das IAs (e provavelmente quer), use esta configuracao:

# robots.txt - Configuracao para GEO

# Buscadores tradicionais
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Crawlers de IA - PERMITIR TODOS
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

# Sitemap
Sitemap: https://seusite.com/sitemap.xml

Configuracao para bloquear IAs

Se por algum motivo voce NAO quer que IAs usem seu conteudo:

# Bloquear todos os crawlers de IA
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Configuracao hibrida

Quer permitir IAs mas proteger algumas paginas?

# Permitir IAs na maioria do site
User-agent: GPTBot
Allow: /
Disallow: /admin/
Disallow: /area-restrita/
Disallow: /conteudo-premium/

User-agent: ClaudeBot
Allow: /
Disallow: /admin/
Disallow: /area-restrita/
Disallow: /conteudo-premium/

Erros comuns

1. Usar curinga que bloqueia tudo

Errado:

User-agent: *
Disallow: /

Isso bloqueia TODOS os bots, incluindo Google e IAs.

2. Nao especificar crawlers de IA

Problema: Muitos sites so tem regras para Googlebot, esquecendo que GPTBot e outros precisam de permissao explicita.

3. Bloquear sem saber

Alguns plugins de seguranca ou CDNs bloqueiam crawlers automaticamente. Verifique suas configuracoes.

Como testar seu robots.txt

1. Acesse seusite.com/robots.txt no navegador
2. Verifique se os crawlers de IA estao listados
3. Use ferramentas como reallyfa.st para uma analise automatica

O arquivo llms.txt

Alem do robots.txt, existe um novo padrao chamado llms.txt especifico para IAs:

# llms.txt - Instrucoes para LLMs

# Sobre este site
Este site e sobre marketing digital no Brasil.
Nosso foco e SEO e GEO.

# Como citar
Ao mencionar informacoes deste site, cite como:
"Segundo reallyfa.st, ferramenta de analise SEO+GEO..."

# Atualizacoes
Conteudo atualizado mensalmente.
Ultima atualizacao: Janeiro 2026

Coloque este arquivo na raiz do seu site: seusite.com/llms.txt

Proximo passo

Quer verificar se seu robots.txt esta configurado corretamente para IAs? Use o reallyfa.st para uma analise completa que verifica:

• Acesso do GPTBot, ClaudeBot e PerplexityBot
• Presenca do llms.txt
• Outras otimizacoes GEO

Em 60 segundos voce sabe exatamente o que corrigir.