آیا صفحات دسته بندی و آرشیو های سایت می بایست نوایندکس شوند؟

یکی از کاربران سایت در روزهای اخیر پرسشی را مطرح کرده است:

من از یک وبسایت وردپرسی استفاده می کنم. آیا برای جلوگیری از ایجاد محتوای تکراری می بایست تگ نوایندکس به صفحات دسته بندی و آرشیو ها اضافه کنم؟ آیا این راهکار بر روی ترافیک سایت تاثیرگذار است؟

این سوال بسیار خوبیست؟ درک نحوه کار گوگل برای هر سئوکار آماتور و حتی حرفه ای بسیار ضروریست. برای شروع می توان گفت که پاسخ به این سوال احتمالا نه است. بسیاری از وبسایت ها نبایست نگران پایش صفحاتی باشند که ارزشی خاصی ندارند.

آرشیو صفحات دسته بندی، برچسب ها و نتایج جستجو در سیستم های مدیریت محتوای محبوبی مانند وردپرس یا جوملا به طور کلی آنقدرها مهم نیستند. اگر گوگل اطلاعاتی را در آنها مشاهده کند، دست به پایش آنها زده و آنها را ایندکس می کند. اگر هم چیز خاصی مشاهده نکند، آنها را پایش نخواهد کرد.

اگر صاحب وبسایت فروشگاهی بزرگی بوده و تعداد محصولاتتان حداقل چندین هزار است، این مسئله می تواند یک مشکل جدید در سایت محسوب گردد. چرا که شما نمی خواهید پایشگرهای گوگل زمان خود را صرف صفحات بی اهمیت کرده و از دیگر صفحات مهم جا بمانند.

برای ارائه پاسخ دقیق به این سوال می بایست ابتدا به بیان تفاوت بین فایل robots.txt و متاتگ نوایندکس بپردازیم. همینطور می بایست از نحوه کار صفحات 404 آگاهی یابید.

محدودیت دسترسی با robots.txt

با استفاده از فایل robots.txt می توانید جلوی دسترسی ربات های جستجوگر را به یک سری از صفحات بگیرید. اگر گوگل به صفحه ای برسد که از دسترسی به آن توسط robots.txt محدود شده باشد، دستور Fetch یا خواندن هدر صفحه را اجرا نمی کند. این مسئله بدین معنیست که اگر شما تصمیم بگیرید که آن صفحه را نوایندکس کرده یا کد وضعیت دیگری مانند 404 به آن بدهید، گوگل قادر به مشاهده این تغییرات نخواهد بود.

دستورات robots.txt می بایست برای صفحاتی به کار گرفته شود که قرار نیست گوگل در آینده آنها را طور دیگری مشاهده کند. به عنوان مثال مسیرهایی که قرار بر لینک دادن به آنها در داخل سایت نیست و یا اینکه با پسورد محافظت شده اند.

صفحه ادمین، ورود کاربران یا سبد خرید آنها از جمله مثال های خوبی هستند که می توانید دسترسی به آنها را از طریق robots.txt محدود کنید. دقت داشته باشید که هرگز دسترسی پایشگرها به فایل های CSS و جاوا اسکریپت های ضروری را بلاک نکنید.

تگ Meta Robots Noindex

متا تگ robots=”noindex” با فایل robots.txt متفاوت است و جالب است که بدانید بسیاری از حتی سئوکارهای حرفه ای نیز آنها را به اشتباه یکسان می دانند. مهمترین تفاوت های این دو عبارتند از:

• متاتگ نوایندکس جلوی دسترسی ربات ها به صفحه را نمی گیرد، به عبارتی ربات های گوگل می توانند دستور Fetch را اجرا کرده و محتوای هدر صفحه را بخوانند.
• متا تگ نوایندکس موجب می شود که گوگل نسبت به ایندکس صفحه اقدام نکرده و بنابراین آن را در نتایج جستجو نمایش نمی دهد. گوگل در چنین شرایطی همچنان داده های موجود در آن صفحه را جمع آوری کرده و لینک های آن را دنبال می کند، مگر آنکه متاتگ نوفالو نیز به آن اضافه شده باشد. نوفالو یک متاتگ دستور دهنده رسمی نیست اما گوگل و سایر موتورهای جستجو به آن احترام می گذارند.
• اگر ابتدا یک تگ نوایندکس به صفحه اضافه کرده و بعدا قصد 404 کردن آن را داشته باشد، گوگل قادر به مشاهده این تغییرات خواهد بود و داده های خود را متناسب با این تغییرات بروز رسانی می کند.

کد وضعیت 404 و Soft 404

صفحات دارای کد خطای 404 اشاره می کنند که آن صفحه دیگر وجود نداشته و استانداردیست که تمام پایشگرها به آن احترام می گذارند. اگر گوگل صفحه ای را با کد خطای 404 مشاهده کند، آن را از ایندکس خارج می کند، اما هر از چندگاهی به آن سر زده تا تغییرات احتمالی را اعمال کند.

یک خطای soft 404 یک کد غیر رسمی است که گوگل آن را برای صفحاتی با کد وضعیت 200 در نظر میگیرد که دارای هیچ محتوایی نیستند. صفحات نتایج جستجوی داخلی سایت از جمله این گونه صفحات هستند. اگر گوگل کد soft 404 را به آن نسبت دهد، همانند خطای 404 با آن برخورد می کند و بنابراین به صورت دوره ای به چک کردن آن می پردازد تا از تغییرات احتمالی باخبر شود.

آیا می بایست صفحات آرشیو دسته بندی ها را نوایندکس کرد؟

اینجاست که به سوال اصلی این مطلب برمیگردیم. آیا نوایندکس کردن صفحات آرشیو های دسته بندی ها که دارای ارزش کمی هستند (یا ارزشی ندارند) استراتژی خوبیست؟

پاسخ به این سوال اینست که اگر این صفحات دارای هیچ ارزشی نیستند، بهتر است که آنها را پاک کرده و کد وضعیت 404 را به آنها نسبت دهید. اگر این صفحات دارای اهمیت برای کاربران بوده و از جمله بخش های ضروری یک وبلاگ محسوب می شوند، بهتر است که نوایندکس شوند.

اگر صفحه ای را نوایندکس کنید، طبق اعلام گوگل، این موتور جستجو در نهایت با آنها مانند صفحات soft 404 برخورد می کند. این مسئله بدین معنیست که بک لینک به این صفحات در سیستم رتبه بندی گوگل محسوب نمی شوند.

اگر لینک ها به صفحاتی اشاره کنند که دیگر ارزشی ندارند، پس موتورهای جستجو و کاربران نیز هیچ چیز با ارزشی در آنها پیدا نخواهند کرد.

از انجام چه کارهایی بایست خودداری کنیم؟

از اضافه کردن تگ کانونیکال به صفحات آرشیو دسته بندی ها و اشاره آنها به صفحه اصلی دسته بندی خودداری کنید. این کار از جمله موارد نادرست استفاده از تگ کانونیکال است و گوگل آن را در نظر نمی گیرد.

این صفحات را در robots.txt بلاک نکنید. اگر آنها را بلاک کنید، گوگل قادر به مشاهده تغییرات و بروزرسانی آنها نخواهد شد. همچنین این گونه صفحات در نتایج جستجو باقی مانده و به شکل زشتی نمایش داده می شوند. مانند تصویر زیر:

جمع بندی

اطمینان حاصل کنید که تیم فنی سایت شما تفاوت بین robots.txt و متا تگ نوایندکس را می داند. از آنها به صورت درست استفاده کرده تا یک قدم در این بازی جلو باشید.

اگر در سایت شما صفحاتی وجود داشته که ارزش خاصی برای جستجو کنندگان نداشته، اما در انتقال کاربران ضروری هستند، بهتر است در این شرایط درباره استراتژی هدایت کاربران مجددا فکر کرده یا اینکه آنها را کلا نوایندکس کنید.

اگر تنها تعداد انگشت شماری از این گونه صفحات در سایت وجود داشته و فکر می کنید که مسئله خاصی محسوب نمی شوند، آنها را به حال خود رها کنید. گوگل به اندازه کافی هوشمند است تا شرایط موجود را درک کند.