روش صحیح جلوگیری از ایندکس شدن یک صفحه از سایت

بسیاری از افراد همچنان برای جلوگیری از ایندکس شدن صفحات سایت خود از فایل robots.txt استفاده می کنند. با ایجاد فرامینی در این فایل میتوان از ایندکس یک صفحه از سایت یا کل آن جلوگیری کرد، اما در حقیقت robots.txt برای عدم ایندکس یک صفحه از سایت طراحی نشده است. در این مطلب به بررسی دقیق تر این ماجرا می پردازیم.

بین ایندکس نشدن و قرار نگرفتن در لیست پایش گوگل تفاوت هایی وجود دارد

قبل از اینکه به توضیح هر چه بیشتردر این باره بپردازیم، معنی هر یک از این اصطلاحات را می بایست ابتدا روشن کنیم:

• ایندکس کردن: به فرایند دانلود یک صفحه و ذخیره کردن آن در سرور موتورهای جستجو گفته می شود.
• رتبه بندی و لیست شدن: به نمایش یک صفحه از سایت در رتبه مشخصی از نتایج جستجو گفته می شود.

گوگل با استفاده از لینک های موجود در وب احتمالا به سایت شما می رسد و آن را مورد پایش قرارمی دهد. در صورتی که دسترسی به یک صفحه ایندکس شده را با استفاده از فایل Robots.txt متوقف کنید، این صفحه همچنان در نتایج جستجو نمایش داده می شود. گوگل آخرین نسخه ذخیره شده را معیار قرار داده و با استفاده از آن به رتبه بندی آن صفحه می پردازد.

برای اینکه صفحه مورد نظر را از ایندکس خارج کنید می بایست با استفاده از متاتگ robots این امر را به گوگل اطلاع دهید. در حقیقت برای این کار می بایست به ربات های گوگل اجازه دسترسی به آن صفحه را دهید تا بتوانند نسخه جدید و دارای متاتگ را بخوانند. برای انجام صحیح خارج کردن یک صفحه از ایندکس گوگل دو راه وجود دارد.

جلوگیری از لیست شدن صفحه با استفاده از متا تگ robots

معمول ترین کاری که برای عدم ایندکس یک صفحه می توان انجام داد، اضافه کردن یک متا تگ robots به آن است. این کار را میتوان با اضافه کردن قطعه کد زیر به کد HTML صفحه انجام داد:

<meta name=”robots” content=”noindex,nofollow>

مشکل این تگ اینست که می بایست آن را به تمام صفحات مورد نظر اضافه کرد.

اضافه کردن تگ X-Robots به هدر HTTP

برای اینکه کل سایت را یک باره از ایندکس گوگل خارج کنید، میتوانید از تگ X-robots در هدر HTTP بهره ببرید. این تگ به شما اجازه می دهد به جای اضافه کردن کد نو ایندکس به تک تک صفحات، تنها با یک خط کد کل سایت را نوایندکس کنید. این کد به شکل زیر است:

Header set X-Robots-Tag “noindex, nofollow”

با قرار دادن این کد در فایل .htaccess کل سایت پس از مدتی از ایندکس خارج خواهد شد و هیچکدام از صفحات در نتایج جستجو مایش داده نمی شوند. همچنین با استفاده این تگ می توان تابعی برای ایندکس شدن یا نشدن صفحات تعریف کرد و به شکل هوشمندانه تری از آن بهره برد. اطلاعات بیشتر درباره این تگ ها را در صفحه متا تگ Robots مطالعه کنید.

بنابراین همین الان از دستور Disallow: / را از فایل robots.txt پاک کرده و از روش های صحیح نو ایندکس کردن صفحات استفاده کنید.

منبع:
Preventing your site from being indexed