بررسی robots.txt

فایل robots.txt را بخوانید و ببینید چه مسیرهایی برای خزنده‌ها باز یا بسته است.

سؤال‌های پرتکرار

ابزارهای مرتبط