URL পার্সার
URL ভেঙে প্রোটোকল, হোস্ট, পাথ ও কোয়েরি আলাদা করুন।
Robots.txt জেনারেটর
আপনার বাছা পাথ ব্লক করে এবং সাইটম্যাপের দিকে নির্দেশ করে এমন robots.txt বানান।
Bing ও আরও কিছু মানে। Google উপেক্ষা করে।
নির্দিষ্ট AI ক্রলার ব্লক করুনএটি আপনার সাইটের রুটে robots.txt নামে সংরক্ষণ করুন, যাতে https://yoursite.com/robots.txt-এ খোলে। এটি ভদ্র ক্রলারদের বাইরে থাকতে বলে, কিন্তু ব্যক্তিগত পেজ সুরক্ষিত করে না।
আপনার ফাইল আপনার ডিভাইসেই থাকে
কীভাবে কাজ করে
- 1ডিফল্টে ক্রল করতে দেবেন, নাকি পুরো সাইট ব্লক করবেন তা বাছুন।
- 2ডিসঅ্যালাউ করার পাথ প্রতি লাইনে একটি করে লিখুন, প্রতিটি স্ল্যাশ দিয়ে শুরু।
- 3সাইটম্যাপের ঠিকানা দিন এবং যে ক্রলার ব্লক করতে চান তা টিক দিন।
- 4robots.txt ডাউনলোড করে সাইটের রুটে আপলোড করুন।
অপশনগুলো কী করে
- ডিসঅ্যালাউ পাথ
- ক্রলারদের এই পাথগুলো না আনতে বলা হয়। স্ল্যাশে শেষ হওয়া পাথ ফোল্ডারের ভেতরের সবকিছু ধরে।
- অনুমতির ব্যতিক্রম
- ডিসঅ্যালাউ করা ফোল্ডারের ভেতরের কোনো পাথ ক্রলারকে আনতে দেয়।
- ক্রল বিলম্ব
- অনুরোধের মাঝে সেকেন্ড। কিছু ক্রলার মানে, Google উপেক্ষা করে।
- AI ক্রলার
- নাম দেওয়া বটের জন্য একটি ব্লক যোগ করে। এটি শুধু সেসব বটের জন্য কাজ করে যারা robots.txt মানে।
গোপনীয়তা
সবকিছু আপনার ব্রাউজারেই চলে। আপনার লেখা কিছুই কোনো সার্ভারে যায় না।
সবাই যা জানতে চান
robots.txt কি সার্চ থেকে পেজ লুকায়?
না। এটি ভদ্র ক্রলারদের পেজটি আনতে বাধা দেয়, কিন্তু অন্য সাইট লিংক দিলে ব্লক করা URL-ও ফলাফলে আসতে পারে। পেজ সার্চের বাইরে রাখতে noindex ট্যাগ ব্যবহার করুন এবং পেজটি ক্রল হতে দিন।
robots.txt কি নিরাপত্তার ব্যবস্থা?
না। ফাইলটি সবার জন্য খোলা, আর খারাপ বট এটি উপেক্ষা করে। গোপন পাথ কখনো এতে লিখবেন না, আর ব্যক্তিগত অংশ লগইন দিয়ে সুরক্ষিত রাখুন।
ফাইলটি কোথায় রাখব?
ডোমেইনের রুটে: https://example.com/robots.txt। প্রতিটি সাবডোমেইনের নিজের ফাইল লাগে।
AI ক্রলার ব্লক করলে কি AI টুল থেকে আমার কনটেন্ট সরে যাবে?
এটি সেসব ক্রলারকে ভবিষ্যতে আপনার পেজ সংগ্রহ না করতে বলে। আগে যা সংগ্রহ হয়েছে তা সরায় না, আর যে বট ফাইলটি উপেক্ষা করে তাদের থামায় না।
ভুলে CSS বা JavaScript ব্লক করলে কী হবে?
আপনার পেজ রেন্ডার করতে Google-এর এগুলো লাগে। স্ক্রিপ্ট ও স্টাইলের ফোল্ডার ডিসঅ্যালাউ করবেন না।