URL पार्सर
URL को प्रोटोकॉल, होस्ट, पाथ और क्वेरी में बाँटें।
Robots.txt जनरेटर
ऐसी robots.txt बनाएँ जो आपके चुने रास्ते ब्लॉक करे और आपके sitemap की ओर इशारा करे।
Bing और कुछ अन्य इसे मानते हैं। Google इसे अनदेखा करता है।
चुने हुए AI क्रॉलर ब्लॉक करेंइसे अपनी साइट की रूट में robots.txt नाम से सेव करें, ताकि यह https://yoursite.com/robots.txt पर खुले। यह नियम मानने वाले क्रॉलर से दूर रहने को कहती है, लेकिन निजी पेजों की सुरक्षा नहीं करती।
आपकी फ़ाइलें आपके डिवाइस पर ही रहती हैं
यह कैसे काम करता है
- 1चुनें कि क्रॉलिंग डिफ़ॉल्ट रूप से मंज़ूर हो या पूरी साइट ब्लॉक हो।
- 2जिन रास्तों को रोकना है उन्हें हर लाइन में एक लिखें, हर रास्ता स्लैश से शुरू हो।
- 3अपना sitemap पता जोड़ें और जिन क्रॉलर को ब्लॉक करना है उन पर टिक करें।
- 4robots.txt डाउनलोड करें और अपनी साइट की रूट में अपलोड करें।
विकल्पों का मतलब
- रोके गए रास्ते (Disallow)
- क्रॉलर से कहा जाता है कि ये रास्ते न खोलें। स्लैश पर ख़त्म होने वाला रास्ता फ़ोल्डर के अंदर की हर चीज़ पर लागू होता है।
- अपवाद (Allow)
- किसी क्रॉलर को ऐसा रास्ता खोलने देता है जो रोके गए फ़ोल्डर के अंदर है।
- क्रॉल डिले
- दो अनुरोधों के बीच सेकंड। कुछ क्रॉलर इसे मानते हैं, Google नहीं मानता।
- AI क्रॉलर
- नाम वाले बॉट के लिए ब्लॉक जोड़ता है। यह सिर्फ़ उन बॉट पर काम करता है जो robots.txt मानते हैं।
प्राइवेसी
सब कुछ आपके ब्राउज़र में चलता है। आप जो टाइप करते हैं वह किसी सर्वर को नहीं भेजा जाता।
लोग अक्सर पूछते हैं
क्या robots.txt किसी पेज को सर्च से छिपा देती है?
नहीं। यह नियम मानने वाले क्रॉलर को पेज खोलने से रोकती है, लेकिन अगर दूसरी साइटें उसे लिंक करती हैं तो ब्लॉक किया गया URL भी नतीजों में दिख सकता है। पेज को सर्च से बाहर रखने के लिए noindex टैग इस्तेमाल करें और पेज को क्रॉल होने दें।
क्या robots.txt कोई सुरक्षा उपाय है?
नहीं। यह फ़ाइल सार्वजनिक होती है और बुरे बॉट इसे अनदेखा करते हैं। इसमें गुप्त रास्ते कभी न लिखें, और निजी हिस्सों को लॉगिन से सुरक्षित रखें।
फ़ाइल कहाँ रखनी है?
डोमेन की रूट में: https://example.com/robots.txt। हर सबडोमेन की अपनी फ़ाइल चाहिए।
क्या AI क्रॉलर ब्लॉक करने से AI टूल्स से मेरा कंटेंट हट जाएगा?
यह उन क्रॉलर से कहती है कि आगे आपके पेज इकट्ठा न करें। जो पहले इकट्ठा हो चुका है वह नहीं हटता, और फ़ाइल अनदेखी करने वाले बॉट रुकते नहीं।
अगर मैंने ग़लती से CSS या JavaScript ब्लॉक कर दी तो?
Google को आपके पेज रेंडर करने के लिए इनकी ज़रूरत होती है। जिन फ़ोल्डर में आपकी स्क्रिप्ट और स्टाइल हैं उन्हें disallow न करें।