ToolsMaxxing
Deutsch
EnglishEspañolPortuguêsBahasa Indonesiaहिन्दीবাংলাРусскийTiếng ViệtFrançaisDeutschTürkçeالعربية

Robots.txt-Generator

Erstelle eine robots.txt, die die gewählten Pfade sperrt und auf deine Sitemap verweist.

Bing und einige andere befolgen sie. Google ignoriert sie.
Bestimmte KI-Crawler sperren

Speichere sie als robots.txt im Stammverzeichnis deiner Website, sodass sie unter https://yoursite.com/robots.txt aufrufbar ist. Sie bittet wohlerzogene Crawler, draußen zu bleiben, schützt aber keine privaten Seiten.

Deine Dateien bleiben auf deinem Gerät

So funktioniert es

  1. 1Wähle, ob das Crawlen standardmäßig erlaubt oder die ganze Website gesperrt wird.
  2. 2Liste die zu sperrenden Pfade auf, einen pro Zeile, jeweils mit einem Schrägstrich beginnend.
  3. 3Füge deine Sitemap-Adresse hinzu und hake Crawler an, die du sperren willst.
  4. 4Lade die robots.txt herunter und lade sie in das Stammverzeichnis deiner Website hoch.

Was die Optionen bewirken

Pfade sperren
Crawler werden gebeten, diese Pfade nicht abzurufen. Ein Pfad, der mit einem Schrägstrich endet, umfasst alles im Ordner.
Ausnahmen erlauben
Lässt einen Crawler einen Pfad abrufen, der in einem gesperrten Ordner liegt.
Crawl-Verzögerung
Sekunden zwischen Anfragen. Wird von einigen Crawlern beachtet, von Google ignoriert.
KI-Crawler
Fügt einen Block für den genannten Bot hinzu. Er funktioniert nur bei Bots, die robots.txt befolgen.

Datenschutz

Alles läuft in deinem Browser. Nichts, was du eingibst, wird an einen Server gesendet.

Häufige Fragen

Verbirgt robots.txt eine Seite vor der Suche?

Nein. Sie hindert wohlerzogene Crawler daran, die Seite abzurufen, aber eine gesperrte URL kann trotzdem in den Ergebnissen erscheinen, wenn andere Websites auf sie verlinken. Um eine Seite aus der Suche herauszuhalten, nutze ein noindex-Tag und lass sie crawlen.

Ist robots.txt eine Sicherheitsmaßnahme?

Nein. Die Datei ist öffentlich, und schlechte Bots ignorieren sie. Führe darin nie geheime Pfade auf und schütze private Bereiche mit einem Login.

Wohin kommt die Datei?

In das Stammverzeichnis der Domain: https://example.com/robots.txt. Jede Subdomain braucht eine eigene Datei.

Entfernt das Sperren von KI-Crawlern meine Inhalte aus KI-Tools?

Es bittet diese Crawler, deine Seiten künftig nicht mehr zu sammeln. Es entfernt nicht, was zuvor gesammelt wurde, und Bots, die die Datei ignorieren, werden nicht aufgehalten.

Was ist, wenn ich versehentlich CSS oder JavaScript sperre?

Google braucht sie, um deine Seiten darzustellen. Sperre keine Ordner, in denen deine Skripte und Stile liegen.

Ähnliche Tools