Analizador de URL
Divide una URL en protocolo, host, ruta y consulta.
Generador de robots.txt
Crea un robots.txt que bloquee las rutas que elijas y apunte a tu sitemap.
Bing y algunos otros lo obedecen. Google lo ignora.
Bloquear rastreadores de IA concretosGuárdalo como robots.txt en la raíz de tu sitio, de modo que se abra en https://tusitio.com/robots.txt. Pide a los rastreadores que se portan bien que se mantengan fuera, pero no protege las páginas privadas.
Tus archivos se quedan en tu dispositivo
Cómo funciona
- 1Elige si permitir el rastreo por defecto o bloquear todo el sitio.
- 2Enumera las rutas que no se deben rastrear, una por línea, cada una empezando por una barra.
- 3Añade la dirección de tu sitemap y marca los rastreadores que quieras bloquear.
- 4Descarga robots.txt y súbelo a la raíz de tu sitio.
Qué hace cada opción
- Rutas no permitidas
- Se pide a los rastreadores que no obtengan estas rutas. Una ruta que termina en barra cubre todo lo que hay dentro de la carpeta.
- Excepciones permitidas
- Deja que un rastreador obtenga una ruta que está dentro de una carpeta no permitida.
- Retraso de rastreo
- Segundos entre peticiones. Lo respetan algunos rastreadores y lo ignora Google.
- Rastreadores de IA
- Añade un bloque para el bot indicado. Solo funciona con los bots que obedecen robots.txt.
Privacidad
Todo funciona en tu navegador. Nada de lo que escribes se envía a un servidor.
Preguntas frecuentes
¿robots.txt oculta una página de las búsquedas?
No. Evita que los rastreadores que se portan bien obtengan la página, pero una URL bloqueada aún puede aparecer en los resultados si otros sitios la enlazan. Para mantener una página fuera de las búsquedas, usa una etiqueta noindex y deja que se rastree.
¿robots.txt es una medida de seguridad?
No. El archivo es público y los bots maliciosos lo ignoran. Nunca enumeres rutas secretas en él, y protege las zonas privadas con un inicio de sesión.
¿Dónde va el archivo?
En la raíz del dominio: https://example.com/robots.txt. Cada subdominio necesita su propio archivo.
¿Bloquear los rastreadores de IA eliminará mi contenido de las herramientas de IA?
Pide a esos rastreadores que no recojan tus páginas en el futuro. No elimina lo que se recogió antes, y no detiene a los bots que ignoran el archivo.
¿Y si bloqueo CSS o JavaScript por error?
Google los necesita para renderizar tus páginas. No bloquees las carpetas que contienen tus scripts y tus estilos.