ToolsMaxxing
Português
EnglishEspañolPortuguêsBahasa Indonesiaहिन्दीবাংলাРусскийTiếng ViệtFrançaisDeutschTürkçeالعربية

Gerador de robots.txt

Crie um robots.txt que bloqueia os caminhos que você escolher e aponta para o seu sitemap.

O Bing e alguns outros obedecem. O Google ignora.
Bloquear rastreadores de IA específicos

Salve como robots.txt na raiz do seu site, para abrir em https://seusite.com/robots.txt. Ele pede a rastreadores bem-comportados que fiquem de fora, mas não protege páginas privadas.

Seus arquivos ficam no seu dispositivo

Como funciona

  1. 1Escolha se permite o rastreamento por padrão ou bloqueia o site inteiro.
  2. 2Liste os caminhos a bloquear, um por linha, cada um começando com uma barra.
  3. 3Adicione o endereço do seu sitemap e marque os rastreadores que quiser bloquear.
  4. 4Baixe o robots.txt e envie para a raiz do seu site.

O que cada opção faz

Caminhos bloqueados (Disallow)
Pede-se aos rastreadores que não busquem estes caminhos. Um caminho terminado em barra cobre tudo dentro da pasta.
Exceções permitidas
Permite que um rastreador busque um caminho dentro de uma pasta bloqueada.
Atraso de rastreamento
Segundos entre as requisições. Respeitado por alguns rastreadores e ignorado pelo Google.
Rastreadores de IA
Adiciona um bloco para o bot indicado. Só funciona com bots que obedecem ao robots.txt.

Privacidade

Tudo roda no seu navegador. Nada do que você digita é enviado a um servidor.

Perguntas frequentes

O robots.txt esconde uma página da busca?

Não. Ele impede que rastreadores bem-comportados busquem a página, mas uma URL bloqueada ainda pode aparecer nos resultados se outros sites apontarem para ela. Para manter uma página fora da busca, use uma tag noindex e deixe que ela seja rastreada.

O robots.txt é uma medida de segurança?

Não. O arquivo é público e bots mal-intencionados o ignoram. Nunca liste caminhos secretos nele e proteja áreas privadas com um login.

Onde o arquivo fica?

Na raiz do domínio: https://example.com/robots.txt. Cada subdomínio precisa do próprio arquivo.

Bloquear rastreadores de IA remove meu conteúdo das ferramentas de IA?

Pede a esses rastreadores que não coletem suas páginas no futuro. Não remove o que foi coletado antes e não impede bots que ignoram o arquivo.

E se eu bloquear CSS ou JavaScript por engano?

O Google precisa deles para renderizar suas páginas. Não bloqueie pastas que guardam seus scripts e estilos.

Ferramentas relacionadas