ToolsMaxxing
Русский
EnglishEspañolPortuguêsBahasa Indonesiaहिन्दीবাংলাРусскийTiếng ViệtFrançaisDeutschTürkçeالعربية

Генератор robots.txt

Создайте robots.txt, который блокирует выбранные пути и указывает на ваш sitemap.

Bing и некоторые другие её соблюдают. Google игнорирует.
Заблокировать отдельные ИИ-краулеры

Сохраните как robots.txt в корне сайта, чтобы файл открывался по адресу https://yoursite.com/robots.txt. Он просит добросовестных краулеров не заходить, но не защищает закрытые страницы.

Ваши файлы остаются на устройстве

Как это работает

  1. 1Выберите, разрешить ли сканирование по умолчанию или заблокировать весь сайт.
  2. 2Перечислите запрещённые пути, по одному в строке, каждый начинается с косой черты.
  3. 3Добавьте адрес sitemap и отметьте краулеры, которые хотите заблокировать.
  4. 4Скачайте robots.txt и загрузите его в корень сайта.

Что делают параметры

Запрещённые пути
Краулеров просят не загружать эти пути. Путь, оканчивающийся косой чертой, охватывает всё содержимое папки.
Исключения allow
Позволяет краулеру загрузить путь, находящийся внутри запрещённой папки.
Задержка сканирования
Секунды между запросами. Учитывается некоторыми краулерами, Google её игнорирует.
ИИ-краулеры
Добавляет блок для указанного бота. Работает только для ботов, которые соблюдают robots.txt.

Конфиденциальность

Всё работает в вашем браузере. Введённое не отправляется на сервер.

Частые вопросы

Скрывает ли robots.txt страницу из поиска?

Нет. Он не даёт добросовестным краулерам загружать страницу, но заблокированный URL всё равно может появиться в выдаче, если на него ссылаются другие сайты. Чтобы убрать страницу из поиска, используйте тег noindex и разрешите её сканирование.

Это мера безопасности?

Нет. Файл общедоступен, а недобросовестные боты его игнорируют. Никогда не указывайте в нём секретные пути, а закрытые разделы защищайте входом по паролю.

Куда положить файл?

В корень домена: https://example.com/robots.txt. Каждому поддомену нужен свой файл.

Уберёт ли блокировка ИИ-краулеров мой контент из ИИ-инструментов?

Она просит эти краулеры не собирать ваши страницы в будущем. То, что собрано раньше, она не удаляет, а боты, игнорирующие файл, не останавливаются.

Что если я по ошибке заблокирую CSS или JavaScript?

Google нужны они для отображения ваших страниц. Не запрещайте папки со скриптами и стилями.

Похожие инструменты