اما نکته مهم در این ماجرا نحوه نوشتن و بهینه سازی Robots.txt می باشد. مقوله ای بسیار مهم که اگر کوچکترین اشتباهی در تنظیم آن مرتکب شوید باعث مرگ وبسایت شما میشود. در این پست از «وردپرس با طعم فارسی» میخواهیم نحوه نوشتن و بهینه سازی فایل Robots.txt برای سایتهای وردپرسی را به شما عزیزان آموزش بدهیم. پس با ما همراه باشید.
ایجاد فایل robots.txt
فایل robots.txt معمولا در ریشه اصلی (Root) وبسایت شما قرار میگیرد. برای این منظور میتوانید با استفاده از ftp manager های مختلف، به هاست وبسایت خود وصل شده و یک فایل ساده متنی با نام و پسوند robots.txt در کنار فایلهای وردپرس ایجاد کنید. یا هم میتوانید این فایل را ابتدا روی کامپیوتر خود بسازید و بعد آن را روی هاست آپلود نمایید.
نوشتن فایل robots.txt
پیکره بندی و قالب این فایل بسیار آسان و همه فهم بوده و با یک نگاه کلی میتوان فهمید چه میگوید. خط اول معمولا حاوی user agent می باشد. User agent نام ربات موتور جستجوگری است که میخواهد به وبسایت شما وصل شده و آن را ایندکس کند. برای مثال میتوان از Googlebot یا Bingbot بترتیب برای موتورهای جستجوی گوگل و بینگ استفاده کرد. در عین حال شما میتوانید از علامت * برای شامل شدن تمام روبات ها استفاده کنید.
خطهای بعد از این با یکی از دو عبارت Allow یا Disallow آغاز میشود که هرکدام بترتیب میگویند ربات موتور جستجو وارد مسیر بعد از عبارت برای ایندکس و ذخیره سازی در پایگاه داده موتور جستجو بشوند یا خیر.
به عنوان مثال به این قطعه کد نگاه کنید:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
این یک مثال ساده و دم ستی از فایل Robots.txt میباشد که در خط اول میگوید این دسورالعمل برای همه روبات ها لازم الإجرا است. در خط دوم به روبات ها میگوید به مسیر wp-content/upload رفته و فایلهای موجود در آن را ایندکس نماید. در خط دوم و سوم میگوید موتورهای جستجوگر حق ندارند وارد مسیر wp-content/plugin شده و فایلها و فولدرهای موجود در آن را ذخیره کنند.
بهینه سازی فایل Robots.txt
در راهنمای وبمستر تولز، گوگل به وبمستر ها توصیه مکیند برای پنهان کردن پست های بی کیفیت خود از فابل Robots.txt استفاده نکنند. به عنوان مثال اگر قبل از این از این طریق به گوگل میفهماندید که صفحاتی مانند آرشیو، دسته بندی ها، تقویم، صفحات نویسنده و… را ایندکس نکنند باید بگویم تصمیم درستی نبوده است.
بخاطر داشته باشید، این فایل به روبات ها آموزش میدهند چگونه با محتوای ایندکس شده شما رفتار کنند. نه اینکه آنها را از خزش و به اصطلاح Crawl کردن صفحات سایت خود مانع شوید.
noindex-archive-pages
برای این منظور راههای دیگری در نظر گرفته شده که اصلی ترین آنها استفاده از متا تگ noIndex می باشد. در وردپرس افزونه های زیادی هستند که این کار را برای شما انجام میدهند. توصیه ما در این زمینه استفاده از افزونه قدرتمند و مشهور WordPress SEO می باشد.
به این طریق دیگر نیازی نیست صفحاتی مانند لاگین، ثبت نام و… را در فایل Robots.txt ذکر کنید بلکه با استفاده از این افزونه براحای میتوانید آنها را noindex کنید.
توصیه دیگر ما به شما این است که فایل readme.html را در حتما در robots.txt غیر مجاز کنید (disallow). این فایل میتواند اطلاعات بدردبخوری مانند ورژن ورپرس را در اختیار افراد خرابکار قرار بدهد ازینرو از گوگل بخواهید اطلاعات این فایل را در نتایج حستجو نمایش ندهد.
اضافه کردن فایلهای XML sitemap به robots.txt
اگر شما از افزونه های استاندارد وردپرس برای ساختن فایلهای sitemap سایت خود استفاده میکنید، غالب این پلاگین ها بطور خودکار آدرس نقشه سایت را به انتهای فایل robots.txt اضافه میکنند. اما اگر بهر دلیلی این کار انجام نشده، بصورت دستی اینکار را انجام بدهید:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
پیشنهاد ما
با درنظر داشتن همه چیزهایی که در این پست گفته شد، پیشنها ما برای یک robots.txt استاندارد و بهینه شده برای سایتهای وردپرسی چیزی شبیه این خواهد شد:
User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Sitemap: http://www.example.com/deals-sitemap.xml
Sitemap: http://www.example.com/hosting-sitemap.xml