ToolsMaxxing
Tiếng Việt
EnglishEspañolPortuguêsBahasa Indonesiaहिन्दीবাংলাРусскийTiếng ViệtFrançaisDeutschTürkçeالعربية

Tạo robots.txt

Tạo robots.txt chặn các đường dẫn bạn chọn và trỏ đến sitemap của bạn.

Bing và một số nơi khác tuân theo. Google bỏ qua.
Chặn một số trình thu thập dữ liệu AI cụ thể

Lưu thành robots.txt ở thư mục gốc của website, để mở được tại https://yoursite.com/robots.txt. Nó yêu cầu các trình thu thập dữ liệu tuân thủ không vào, nhưng không bảo vệ các trang riêng tư.

Tệp của bạn ở lại trên thiết bị

Cách dùng

  1. 1Chọn mặc định cho phép thu thập hoặc chặn cả website.
  2. 2Liệt kê các đường dẫn cần chặn, mỗi dòng một đường dẫn, bắt đầu bằng dấu gạch chéo.
  3. 3Thêm địa chỉ sitemap và đánh dấu các trình thu thập dữ liệu bạn muốn chặn.
  4. 4Tải robots.txt xuống và tải lên thư mục gốc của website.

Các tùy chọn có tác dụng gì

Đường dẫn chặn
Trình thu thập dữ liệu được yêu cầu không tải các đường dẫn này. Đường dẫn kết thúc bằng dấu gạch chéo bao gồm mọi thứ trong thư mục.
Ngoại lệ cho phép
Cho phép trình thu thập dữ liệu tải một đường dẫn nằm trong thư mục bị chặn.
Độ trễ thu thập
Số giây giữa các yêu cầu. Một số trình thu thập dữ liệu tuân theo, Google thì bỏ qua.
Trình thu thập dữ liệu AI
Thêm một khối cho bot được nêu tên. Chỉ có tác dụng với các bot tuân theo robots.txt.

Quyền riêng tư

Mọi thứ chạy ngay trong trình duyệt. Không có gì bạn gõ được gửi đến máy chủ.

Câu hỏi thường gặp

robots.txt có giấu một trang khỏi tìm kiếm không?

Không. Nó ngăn các trình thu thập dữ liệu tuân thủ tải trang, nhưng một URL bị chặn vẫn có thể xuất hiện trong kết quả nếu các website khác liên kết đến nó. Để giữ một trang khỏi tìm kiếm, hãy dùng thẻ noindex và cho phép thu thập.

robots.txt có phải biện pháp bảo mật không?

Không. Tệp này công khai và các bot xấu bỏ qua nó. Đừng bao giờ liệt kê đường dẫn bí mật trong đó, và hãy bảo vệ khu vực riêng tư bằng đăng nhập.

Tệp đặt ở đâu?

Ở thư mục gốc của tên miền: https://example.com/robots.txt. Mỗi tên miền phụ cần tệp riêng.

Chặn trình thu thập dữ liệu AI có xóa nội dung của tôi khỏi các công cụ AI không?

Nó yêu cầu các trình thu thập dữ liệu đó không thu thập các trang của bạn trong tương lai. Nó không xóa những gì đã được thu thập trước đó, và các bot bỏ qua tệp này không bị ngăn lại.

Nếu tôi lỡ chặn CSS hoặc JavaScript thì sao?

Google cần chúng để hiển thị các trang của bạn. Đừng chặn các thư mục chứa script và style của bạn.

Công cụ liên quan