سئو

روش صحیح جلوگیری از ایندکس شدن یک صفحه از سایت

بسیاری از افراد همچنان برای جلوگیری از ایندکس شدن صفحات سایت خود از فایل robots.txt استفاده می کنند. با ایجاد فرامینی در این فایل میتوان از ایندکس یک صفحه از سایت یا کل آن جلوگیری کرد، اما در حقیقت robots.txt برای عدم ایندکس یک صفحه از سایت طراحی نشده است. در این مطلب به بررسی دقیق تر این ماجرا می پردازیم.

بین ایندکس نشدن و قرار نگرفتن در لیست پایش گوگل تفاوت هایی وجود دارد

قبل از اینکه به توضیح هر چه بیشتردر این باره بپردازیم، معنی هر یک از این اصطلاحات را می بایست ابتدا روشن کنیم:

  • ایندکس کردن: به فرایند دانلود یک صفحه و ذخیره کردن آن در سرور موتورهای جستجو گفته می شود.
  • رتبه بندی و لیست شدن: به نمایش یک صفحه از سایت در رتبه مشخصی از نتایج جستجو گفته می شود.

گوگل با استفاده از لینک های موجود در وب احتمالا به سایت شما می رسد و آن را مورد پایش قرارمی دهد. در صورتی که دسترسی به یک صفحه ایندکس شده را با استفاده از فایل Robots.txt متوقف کنید، این صفحه همچنان در نتایج جستجو نمایش داده می شود. گوگل آخرین نسخه ذخیره شده را معیار قرار داده و با استفاده از آن به رتبه بندی آن صفحه می پردازد.

برای اینکه صفحه مورد نظر را از ایندکس خارج کنید می بایست با استفاده از متاتگ robots این امر را به گوگل اطلاع دهید. در حقیقت برای این کار می بایست به ربات های گوگل اجازه دسترسی به آن صفحه را دهید تا بتوانند نسخه جدید و دارای متاتگ را بخوانند. برای انجام صحیح خارج کردن یک صفحه از ایندکس گوگل دو راه وجود دارد.

جلوگیری از لیست شدن صفحه با استفاده از متا تگ robots

معمول ترین کاری که برای عدم ایندکس یک صفحه می توان انجام داد، اضافه کردن یک متا تگ robots به آن است. این کار را میتوان با اضافه کردن قطعه کد زیر به کد HTML صفحه انجام داد:

<meta name=”robots” content=”noindex,nofollow>

مشکل این تگ اینست که می بایست آن را به تمام صفحات مورد نظر اضافه کرد.

اضافه کردن تگ X-Robots به هدر HTTP

برای اینکه کل سایت را یک باره از ایندکس گوگل خارج کنید، میتوانید از تگ X-robots در هدر HTTP بهره ببرید. این تگ به شما اجازه می دهد به جای اضافه کردن کد نو ایندکس به تک تک صفحات، تنها با یک خط کد کل سایت را نوایندکس کنید. این کد به شکل زیر است:

Header set X-Robots-Tag “noindex, nofollow”

با قرار دادن این کد در فایل .htaccess کل سایت پس از مدتی از ایندکس خارج خواهد شد و هیچکدام از صفحات در نتایج جستجو مایش داده نمی شوند. همچنین با استفاده این تگ می توان تابعی برای ایندکس شدن یا نشدن صفحات تعریف کرد و به شکل هوشمندانه تری از آن بهره برد. اطلاعات بیشتر درباره این تگ ها را در صفحه متا تگ Robots مطالعه کنید.

بنابراین همین الان از دستور Disallow: / را از فایل robots.txt پاک کرده و از روش های صحیح نو ایندکس کردن صفحات استفاده کنید.

منبع:
Preventing your site from being indexed

نوشته های مرتبط

7 نظر در “روش صحیح جلوگیری از ایندکس شدن یک صفحه از سایت

  1. سارا گفت:

    ممنونم ، خیلی نیاز داشتم ب این کد

  2. مهدی گفت:

    سلام خسته نباشید، من یک وب سایتی دارم میخام کل صفحات توسط گوگل برای مدتی شناسایی یا اصطلاحا index نشه، طبق چیزی که شما توی مقاله گفتید من کد Header set X-Robots-Tag “noindex, nofollow” را در فایل htaccess قرار دادم، میشه بفرمایید چه مدت طول میکشه که گوگل دیگه صفحات سایت منو نخونه، یا اگه راه سریعتری هست برای این موضوع لطفا منو راهنمایی کنید، با تشکر از بابت مطالب خوبی که توی سایت میزارید.

    1. radzad گفت:

      سلام، در صورتی که کار رو به شکل درست انجام داده باشید، بسته به اعتبار دامنه چند روز زمان میبره تا صفحات از ایندکس گوگل خارج بشن. ممکنه تا یک ماه هم طول بکشه.

  3. امیر گفت:

    سلام خسته نباشید
    من فقط می خواهم صفحه هایی رو که page/3 این جوری هستند نوایندکس کنم. باید چی کار کنم؟

    1. radzad گفت:

      سلام، پیشنهاد میکنم از افزونه Rank Math SEO استفاده بفرمایید. این افزونه دارای قابلیتی برای تحقق خواسته شما است.

  4. فن حلزونی ماینر گفت:

    سلام، اگر وردپرس نباشه و سی ام اس اختصاصی باشه چگونه می تونیم نو ایندکس کنیم؟
    ایا باید منو ها هم نو ایندکس شوند؟

    1. radzad گفت:

      متا تگ robots را با مقدار noindex به بخش head صفحه اضافه کنید.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *