کسب رتبه خوب در موتورهای جستجو نیازمند یک وبسایت بدون هیچ عیب و نقصی در سئو است. در زمینه سئو موارد فنی زیادی وجود دارند که همگی می بایست رعایت گردند. در این مطلب به یکی از مفاهیم بسیار مهم و فنی سئو به نام قابلیت پایش سایت توسط ربات های موتورهای جستجو (Crawlability) می پردازیم.
پایشگر چیست؟
یک موتور جستجو مانند گوگل، شامل پایشگر، ایندکس و الگوریتم می شود. وظیفه پایشگر دنبال کردن لینک هاست. وقتی پایشگر گوگل به وبسایت شما می رسد، محتوای آن را خوانده و در ایندکس خود ذخیره می کند.
یک پایشگر (Crawler) لینک ها را در وب دنبال می کند. پایشگرها با نام های ربات، bot و spider نیز شناخته می شوند و 24 ساعته فعال هستند. وقتی آنها به یک وبسایت می رسند، نسخه HTML آن را دیتابیس عظیم خود که ایندکس نام دارد، ذخیره می کنند. این ایندکس همواره متناسب با تغییراتی که شما در وبسایت خود ایجاد می کنید، به روز رسانی می شود. بسته به اینکه گوگل سایت شما را چقدر معتبر دانسته و میزان تغییرات سایت چقدر است، پایشگرها زود به زود یا دیر به دیر به سایت شما سر می زنند.
قابلیت پایش چیست؟
قابلیت پایش یا Crawlability به امکان پایش سایت توسط پایشگرهای گوگل گفته می شود. پایشگرها را میتوان در وبسیات خود بلاک کرد و جلوی دسترسی آنها به سایت را گرفت. اگر شما دست به بلاک کردن آنها بزنید، به آنها اعلام کرده اید که به سایت شما مراجعه نکنند. در این صورت صفحات سایت شما در ایندکس گوگل قرار نگرفته و در نتیحه در نتایج جستجو نیز نمایش داده نخواهند شد.
روش هایی وجود دارد که در نتیجه آنها وبسایت قابلیت پایش را از دست می دهد و ایندکس نخواهد شد:
- اگر فایل robots.txt سایت شما به گونه ای تنظیم شده باشد که پایشگرها را بالک کند، گوگل به صفحات سایت شما مراجعه نخواهد کرد.
- پایشگرها قبل از شروع پایش سایت، به هدر صفحات توجه می کنند. این هدر ها شامل کد های وضعیتی هستند و اگر کد وضعیت هدر اعلام کند که آن صفحه وجود ندارد، گوگل دست به پایش آن نخواهد زد.
- اگر متا تگ robots در یک صفحه به خصوص، موتورهای جستجو را از ایندکس صفحه نهی کرده باشد، آن صفحه پایش خواهد شد، اما در ایندکس گوگل قرار نخواهد گرفت.
چه مواردی در بحث قابلیت پایش مهم هستند؟
با اینکه قابلیت پایش جز پایه و اساس سئو است، برای بسیاری از افراد، پیچیده تلقی میشود. در بعضی از موارد مشاهده شده که صاحبین سایت ها ناخواسته و بدون اینکه بدانند جلوی پایش صفحات را گرفته اند. اگر پایشگرها نتوانند به سایت شما دسترسی داشته باشند، به هیچ وجه رتبه خوبی کسب نخواهید کرد. اگر در سئو سایت جدی هستید، به این مورد بسیار دقت کنید.
برای اینکه درک بهتری از پایشگر ها و نکات فنی آن داشته باشید، حتما مطلب فایل robots.txt را مطالعه فرمایید.
منبع:
