گوگل به کسانی که هاست دارند و روی هاستشون سیستمی نصب کردند، گفته که حتما برای وب سایت خودتون یک robots.txt داشته باشید.
توسط این فایل بسیار کم حجم که ساخت آن هم به دست خودتان هست، می توانید به روبات ها بگوئید که:
1- چه آدرسی رو ایندکس کنه یا نه
2- یا روباتی رو به طور کامل برای ایندکس کردن صفحات وب سایت شما منع کنید.
3- زمان ورود روبات ها رو تنظیم کنید.
4- و …
توجه: در فایل robots.txt فایل ها یا فولدر های امنیتی (ادمین، کانفیگ و …) را قرار ندهید.
تنظیم درست این فایل موجب بهبود رنک شما در گوگل و یا در دیگر موتور های جستو می شود.
روش ساخت robots.txt
1- یک فایل تکست با نام robots ایجاد کنید.
2- در آن فایل ها و یا فولدر هایی که می خواهید روبات ها بیشتر روی آنها متمرکز شوند را با این کد (برای مثال):
3- و فایل هایی که می خواهید روبات ها از ایندکس کردن ان ها صرف نظر کند (برای مثال):
اگر شما نمی دانید درون این فایل چه چیزی قرار دهید بهتر است از سایت هایی مشابه www.seochat.com/seo-tools/robots-generator/ استفاده کنید.
ممنون مفید بود داداش