URL parser
Pecah URL menjadi protokol, host, path, dan query.
Generator robots.txt
Buat robots.txt yang memblokir path pilihan Anda dan menunjuk ke sitemap Anda.
Bing dan beberapa lainnya mematuhinya. Google mengabaikannya.
Blokir crawler AI tertentuSimpan sebagai robots.txt di root situs Anda, sehingga terbuka di https://situsanda.com/robots.txt. File ini meminta crawler yang patuh untuk tidak masuk, tetapi tidak melindungi halaman privat.
File Anda tetap di perangkat Anda
Cara kerjanya
- 1Pilih apakah crawling diizinkan secara default atau seluruh situs diblokir.
- 2Daftarkan path yang dilarang, satu per baris, masing-masing diawali garis miring.
- 3Tambahkan alamat sitemap Anda dan centang crawler yang ingin diblokir.
- 4Unduh robots.txt dan unggah ke root situs Anda.
Fungsi tiap opsi
- Path yang dilarang
- Crawler diminta tidak mengambil path ini. Path yang berakhir dengan garis miring mencakup semua isi folder.
- Pengecualian yang diizinkan
- Mengizinkan crawler mengambil path yang berada di dalam folder yang dilarang.
- Jeda crawl
- Detik antar permintaan. Dipatuhi sebagian crawler, diabaikan Google.
- Crawler AI
- Menambahkan blok untuk bot yang disebut. Hanya berfungsi untuk bot yang mematuhi robots.txt.
Privasi
Semuanya berjalan di browser Anda. Yang Anda ketik tidak dikirim ke server.
Pertanyaan yang sering diajukan
Apakah robots.txt menyembunyikan halaman dari pencarian?
Tidak. File ini menghentikan crawler yang patuh mengambil halaman, tetapi URL yang diblokir masih bisa muncul di hasil jika situs lain menautkannya. Untuk menjaga halaman tetap di luar pencarian, pakai tag noindex dan biarkan halaman di-crawl.
Apakah robots.txt adalah langkah keamanan?
Tidak. File ini bersifat publik dan bot jahat mengabaikannya. Jangan pernah mencantumkan path rahasia di dalamnya, dan lindungi area privat dengan login.
Di mana file ini diletakkan?
Di root domain: https://example.com/robots.txt. Setiap subdomain membutuhkan filenya sendiri.
Apakah memblokir crawler AI akan menghapus konten saya dari alat AI?
Ini meminta crawler tersebut tidak mengumpulkan halaman Anda di masa depan. Yang sudah dikumpulkan sebelumnya tidak dihapus, dan bot yang mengabaikan file ini tidak dihentikan.
Bagaimana jika saya tidak sengaja memblokir CSS atau JavaScript?
Google membutuhkannya untuk merender halaman Anda. Jangan larang folder yang berisi skrip dan gaya Anda.