Analyseur d'URL
Découpez une URL en protocole, hôte, chemin et requête.
Générateur de robots.txt
Créez un robots.txt qui bloque les chemins de votre choix et pointe vers votre sitemap.
Bing et quelques autres le respectent. Google l'ignore.
Bloquer des robots d'IA précisEnregistrez-le sous le nom robots.txt à la racine de votre site, pour qu'il s'ouvre à l'adresse https://yoursite.com/robots.txt. Il demande aux robots respectueux de rester dehors, mais ne protège pas les pages privées.
Vos fichiers restent sur votre appareil
Comment ça marche
- 1Choisissez d'autoriser l'exploration par défaut ou de bloquer tout le site.
- 2Listez les chemins à interdire, un par ligne, chacun commençant par une barre oblique.
- 3Ajoutez l'adresse de votre sitemap et cochez les robots que vous voulez bloquer.
- 4Téléchargez robots.txt et envoyez-le à la racine de votre site.
À quoi servent les options
- Chemins interdits
- Les robots sont priés de ne pas récupérer ces chemins. Un chemin qui se termine par une barre oblique couvre tout le contenu du dossier.
- Exceptions autorisées
- Permet à un robot de récupérer un chemin situé dans un dossier interdit.
- Délai d'exploration
- Secondes entre les requêtes. Respecté par certains robots, ignoré par Google.
- Robots d'IA
- Ajoute un bloc pour le robot nommé. Cela ne fonctionne que pour les robots qui respectent robots.txt.
Confidentialité
Tout s'exécute dans votre navigateur. Rien de ce que vous saisissez n'est envoyé à un serveur.
Questions fréquentes
Robots.txt cache-t-il une page des moteurs de recherche ?
Non. Il empêche les robots respectueux de récupérer la page, mais une URL bloquée peut quand même apparaître dans les résultats si d'autres sites y renvoient. Pour garder une page hors de la recherche, utilisez une balise noindex et laissez-la être explorée.
Robots.txt est-il une mesure de sécurité ?
Non. Le fichier est public et les mauvais robots l'ignorent. N'y listez jamais de chemins secrets, et protégez les zones privées par une connexion.
Où va le fichier ?
À la racine du domaine : https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
Bloquer les robots d'IA supprimera-t-il mon contenu des outils d'IA ?
Cela demande à ces robots de ne plus collecter vos pages à l'avenir. Cela ne supprime pas ce qui a été collecté avant, et les robots qui ignorent le fichier ne sont pas arrêtés.
Et si je bloque le CSS ou le JavaScript par erreur ?
Google en a besoin pour afficher vos pages. N'interdisez pas les dossiers qui contiennent vos scripts et vos styles.