متا تگ Robots کدیست که حاوی دستورالعمل نحوه پایش صفحات سایت توسط موتورهای جستجو می باشد. در حالی که فایل Robots.txt محدودیت های دسترسی ربات های موتورهای جستجو را تعیین می کند. با استفاده از متا تگ Robots می توان دستورالعمل های جزیی تری را در نحوه پایش و ایندکس صفحات، به اطلاع ربات های جستجوگر رساند.
دو نوع متا تگ Robots وجود دارد: یک نوع آن قسمتی از کدهای HTML صفحه است و در نوع دیگر، وب سرور آن را تحت هدرهای HTTP میفرستد (مانند x-robots-tag). در کنترل این نوع متا تگ ها از پارامترهای یکسانی استفاده می شود (مانند “noindex” و “nofollow”) و تفاوت آن ها در نحوه ارتباط آنها با پایشگرهای موتورهای جستجوست.
متا تگ ها دستورالعمل هایی هستند که به ربات های پایشگر در ایندکس صفحات کمک می کنند و اطلاعاتی را در این باره به آنها می دهند. اگر این متا تگ ها توسط پایشگر ها مشاهده شوند، بر روی رفتار آنها در آن صفحه تاثیر می گذارد. در ادامه این مطلب به معرفی پارامترهایی می پردازیم که توسط ربات های جستجو قابل درک هستند و از آنها پیروی می کنند. این پارامترها به حروف کوچک و بزرگ حساس نیستند اما دقت داشته باشید که شاید بعضی از موتورهای جستجو تنها قسمتی این پارامترها را بفهمند و ممکن است رفتار آنها در رابطه با بعضی از این پارامترها کمی متفاوت باشد.
پارامترها کنترل ایندکس صفحات
- Noindex: به موتورهای جستجو اعلام می کند که آن صفحه را ایندکس نکنند.
- Index: به موتورهای جستجو اعلام می کند که آن صفحه را ایندکس کنند. نکته مهم در اینجا اینست که لازم به درج این پارامتر در تمام صفحات ندارید، چرا که موتورهای جستجو به صورت پیشفرض به ایندکس صفحات می پردازند.
- Follow: با این دستور، موتورهای جستجو حتی صفحاتی که ایندکس نمی شوند را بررسی کرده و لینک های داخل آن را دنبال می کنند. همچنین با این کار، اعتبار صفحه به لینک های داخل آن نیز داده می شود.
- Nofollow: این پارامتر به موتورهای جستجو اعلام می کند که هیچ لینکی در صفحه را دنبال نکرده و اعتباری به آنها منتقل نکنند.
- Noimageindex: این پارامتر به پایشگرها اعلام می کند که عکس های صفحه را ایندکس نکنند.
- None: این پارامتر معادل استفاده همزمان از Noindex و Nofollow در صفحه است.
- Noarchive: با این پارامتر موتورهای جستجو لینک کش صفحه را در SERP (صفحه نتایج جستجو) نشان نمی دهند.
- Nocache: این پارامتر همانند Nocache می باشد، منتها با این تفاوت که توسط اینترنت اکسپلورر و فایرفاکس استفاده می گردد.
- Nosnippet: این پارامتر به موتورهای جستجو اعلام می کند که اسنیپت های صفحه (مانند متاتگ توضیحات) را در صفحه نتایج جستجو نشان ندهند.
- Noodyp/noydir: این پارامتر منسوخ شده است و در گذشته برای عدم نمایش توضیحات سایت DMOZ در صفحه نتایج جستجو مورد استفاده قرار می گرفت.
- Unavailable_after: این پارامتر به ربات های جستجو اعلام می کند که از یک تاریخ مشخص به بعد نبایست آن صفحه را ایندکس کنند.
انواع متا تگ های Robots
دو نوع متا تگ Robots وجود دارد: meta robots tag و x-robots-tag. تمام پارامترهای بالا در هر دو نوع تگ قابل استفاده است. در ادامه به بررسی هر دو نوع تگ می پردازیم.
تگ Meta robots
این نوع تگ در کدهای HTML یک صفحه به کار برده می شود و در قسمت <head> قرار می گیرد.
نمونه کد
<meta name=“robots” content=“[PARAMETER]”>
دستور <meta name=“robots” content=“[PARAMETER]”> شامل تمام ربات های جستجوگر می شود و شما می توانید با تعویض نام robots، ربات مورد نظر خود را قید کنید. به عنوان مثال اگر هدف شما ربات گوگل باشد، می توانید دستور نمونه زیر را به کار ببرید:
<meta name=“googlebot” content=“noindex”>
اگر قصد دارید بیش از یک پارامتر را به این کد اضافه کنید، می بایست پارامترها با یک کاما از هم جدا فرمایید. مثال زیر را مشاهده کنید:
<meta name=“robots” content=“noimageindex,” “nofollow,” “nosnippet”>
این تگ به موتورهای جستجو اعلام می کند که تصاویر صفحه را ایندکس نکنند، تمام لینک های داخل صفحه را دنبال کرده و هیچ اسنیپتی در صفحه نتایج جستجو نشان ندهند.
اگر برای هر یکی از ربات های جستجو می خواهید دستورات متفاوتی را به کار ببرید، می بایست برای هر کدام یک خط جدا از این دستور العمل ها بنویسید و در هر کدام نام ربات را قید کنید.
تگ X-robots
تگ Meta robots اجازه مدیریت ایندکس را در سطح صفحه می دهد، در حالی تگ X-robots به عنوان جزیی از هدر HTTP سایت می تواند باشد و حتی می توان با استفاده از آن، ایندکس قسمت هایی از صفحه را نیز کنترل کرد.
تگ X-robots تمام قابلیت های تگ Meta robots را دارد و در عین حال امکانات بسیار گسترده تری را در اختیار شما قرار می دهد. تگ X-robots قابلیت استفاده از دستور العمل های پیچیده تری را دارد و آن ها را می توان در سطح کلی سایت و حتی فایل های غیر HTML مانند فلش نیز به کار برد.
برای استفاده از تگ X-robots، شما نیاز به دسترسی به یکی از فایل های header.php، .htaccess یا فایل access سرور را دارید. در این فایل ها می توانید تگ X-robots را به همراه هر پارامتری استفاده کنید. در اینجا به بیان مثال هایی از امکانات تگ X-robots می پردازیم:
- کنترل ایندکس محتوای غیر HTML مانند فلش یا ویدئو
- جلوگیری از ایندکس قسمت خاصی از یک صفحه (مانند تصویر یا یک ویدئوی مشخص) به جای عدم ایندکس تمام آن صفحه
- کنترل ایندکس صفحات در مواقعی که دسترسی مستقیم به HTML صفحات ندارید (به خصوص قسمت <head>) یا مواقعی که سایت از یک هدر کلی برای تمام صفحات استفاده می کند
- اضافه کردن قوانین در ایندکس صفحات (به عنوان مثال، ایندکس صفحه پروفایل یک کاربر بعد از قرار دادن 20 کامنت توسط او فعال شود)
نکته های سئو در استفاده از متا تگ های Robots
- تمام داده های متا تنها زمانی توسط موتورهای جستجو دیده می شوند که یو آر ال صفحات قابلیت پایش داشته باشد. به عبارتی اگر جلوی دسترسی به یک یو آر ال در فایل robots.txt گرفته شده باشد، متای آن صفحه (چه در کد های HTML باشد یا چه در هدر HTTP) هیچگاه توسط ربات ها مشاهده و اثر دهی نمی گردد.
- در بسیاری از مواقع استفاده از تگ Meta robots با پارامترهای “noindex, follow” بهترین راه برای محدودیت دسترسی به صفحات است و از دید سئو بهتر از محدود کردن آن صفحه در فایل robots.txt می باشد.
- جای تذکر است که این متا تگ ها توسط ربات های مخرب نادیده گرفته می شوند و استفاده از آنها مکانیسم خوبی در جهت حفظ امنیت صفحات نیست. اگر محتوایی در یک صفحه دارید که نمی خواهید توسط عموم دیده شود، به جای استفاده از متا تگ ها برای دسترسی به آنها، از روش های پیچیده تر مانند گذاشتن پسورد استفاده کنید.
- نیازی به استفاده همزمان از تگ Meta robots و X-robots در یک صفحه نیست. در صورت استفاده اتفاق خاصی نمیفتد و صرفا کار این دو تگ بر روی یکدیگر همپوشانی پیدا می کند.
سلام. ممنونم از وب سایت عالی و مطالب فوق العادتون.
سلام مرسی
follow هم مثل index به صورت پیشفرضه؟
در صورتی که مقداری را برای متا تگ Robots در نظر نگیرید، مقدار پیشفرض آن Index و Follow خواهد بود.
مطالب بسیار آموزنده ای دارید. بسیار کاربردی و عالی.
آیا این فعالیت ها را خودمان در هنگام ایجاد صفحات و درج مطلب جدید و یا ویرایش صفحات قبل میتوانیم انجام دهیم؟ یا فقط توسط برنامه نویس سایت باید انجام شود.
ممنون میشم راهنمایی کنید.
متا تگ robots از آن دست متا تگ هاست که معمولا یک مقدار ثابت به صورت global بر روی سایت در نظر گرفته می شود، مگر اینکه در یک صفحه یا نوع خاصی از صفحات بخواهید مقدار پیشفرض در نظر گرفته شده را به مقداری دیگر تغییر دهید. طبیعتا یک کار تکنیکال هست و توسط متخصص باید انجام شود.