Spider trap (تله عنکبوتی) چیست؟ پیدا کردن آن و راهکارها

در بعضی مواقع و با ایجاد تغییرات ناخواسته در سایت حالتی ایجاد می شود که به Spider trap یا تله عنکبوتی معروف است. در این مطلب به بررسی میزان فاجعه آمیز بودن این اتفاق، نحوه پیدا کردن و راه حل آن می پردازیم.

Spider trap چیست؟

Spider trap به حالتی گفته می شود که شما سیستمی را ایجاد می کنید که در آن بیشمار یو آر ال در سایت ایجاد می شود. به عنوان مثال پایشگرهای گوگل 20 یو آر ال جدید را در سایت شما مشاهده می کنند. سپس هر کدام از این یو آر ال ها موجب پیدا شدن 20 یو آر ال دیگر می شود. تا اینجا 20*20 یو آر ال یعنی 400 یو آر ال از یک محتوا پیدا شده است. اگر پایشگرها توسط هر کدام از این یو آر ال ها 20 یو آر ال دیگر را بیابند، در موجموعه 8000 یو آر ال پایش می شود. همانطور که می بینید، این حالت به سرعت نیز افزایش پیدا می کند. اگر محتوای هر یکی از این یو آر ال ها مجزا بود، مطمئنا مشکلی ایجاد نمیشد، اما معمولا این طور نیست. بنابراین حجم زیاد و بی پایانی از محتوای تکراری ایجاد میشود.

این حالت که مانند تله ای برای پایشگرهای گوگل محسوب می شود، اصلا و ابدا برای سئو خوب نیست، چرا که هر بار ربات های گوگل وارد سایت شما می شوند، هر صفحه به عنوان یک دام محسوب می گردد و در واقع آنها محتوای واقعی را پایش نمی کنند. در این شرایط محتوای با کیفیت و مستقل شما نیز ممکن است اصلا ایندکس نگردد، چرا که گوگل فرصتی برای این کار پیدا نمی کند. اکثر محتوای سایت تکراری تلقی شده و گوگل نوع نگرش خود به سایت شما را تغییر خواهد داد. این گونه است که spider trap بر روی سئو سایت تاثیر منفی می گذارد.

Spider trap چگونه به نظر می رسد؟

تله ربات های جستجو به شکل های مختلفی می تواند بروز یابد. به عنوان مثال یک ابزار پیشنهاد کلمه کلیدی را در نظر بگیرید. شما با وارد یک کلمه با کلمات پیشنهادی دیگری رو به رو می شود که هر کدام لینک به دیگر کلمات پیشنهادی مشابه با خود دارند. با کلیک بر روی هر یک از کلمات پیشنهادی این روند تمامی نمی یابد و به راحتی ربات های گوگل را در دام می اندازد.

شاید شما تصور کنید که این حالت در دنیای واقعی وب ایجاد نمی شود، اما این گونه نیست. در بعضی از فروشگاه های اینترنتی که آدرس صفحات، مبتنی بر پارامترهای محصولات است نیز این حالت ممکن است ایجاد شود. با ورود به هر صفحه دارای پارامتر، پارامترهای قبلی و جدیدی در آن وجود دارند که می توانند در ادامه یک سلسله لینک های تمام نشدنی ایجاد کنند.

نمونه دیگری از این حالت، سایت هاییست که دارای صفحات متعلق به یک زمان مشخص هستند. اگر شما بتوانید در هر صفحه به صفحه روز قبل از آن دسترسی داشته باشید، این روند همینطور ادامه پیدا کرده و تا چندبن هزار سال نیز می تواند گسترش یابد. ربات های گوگل با پیدا کردن چنین صفحاتی نیز خود را در دام انداخته و روند پایش آنها تمامی نخواهد داشت.

چگونه یک spider trap را شناسایی کنیم؟

راحت ترین راه برای شناسایی این تله ها، بررسی فایل های Log وبسیات است. این فایل ها در هر خط شامل یک بازدید از سایت هستند. می توانید تصور کنید که در سایت های بسیار بزرگ این فایل ها چه قدر سریع بزرگ می شوند. در هنگام بررسی این فایل ها به بازدید های ربات های گوگل با نام Googlebot دقت کنید و مدل بازدید آن ها را نیز زیر نظر بگیرید. در اغلب مواقع آنها به صورت مسقیم وارد سایت شما می شوند و خیلی هم غیر معمول نیست اگر 20 تا 30 درصد بازدید های سایت از ربات های گوگل باشد. در حالت کلی مدل بازدیهای موتورهای جستجو را بررسی کنید و در صورتی که یک مدل غیر منطقی و تمام نشدنی از بازدیدهای جدید را مشاهده کردید، احتمالا برای گوگل دامی پهن کرده اید.

چگونه مشکل spider trap را حل کنیم؟

حل مشکل spider trap یک امر مبتکرانه محسوب میشود. در مثال اول spider trap، با جلوگیری از پایش آدرس های منوی پیشنهاد کلمات مشابه در فایل robots.txt، به راحتی این مشکل را حل می کنیم. در سایر موارد حل این مشکل به این راحتی نیست و چالش برانگیز تر می باشد. در مورد حالتی که با پارامترهای زیادی در یو آر ال ها مواجهیم، نیاز یه تفکر و تامل بیشتری درباره راه حل این مشکل داریم.

در حال کلی سه نوع راه حل برای این مشکل وجود دارد:

• بلاک کردن قسمتی از یو آر ال ها در فایل robots.txt
• اضافه کردن برچسب rel=nofollow و noindex,follow در بعضی از صفحات
• جلوگیری از ایجاد آدرس های بی پایان

در حالتی که با ایجاد صفحات مربوط به روز قبل مواجه بودیم، می توانیم از یک تاریخ به قبل را که مطلبی در آنها وجود ندارد را در فایل robots.txt بلاک کنیم. در حالتی که پارامترها در یو آر ال این مشکل را ایجاد کرده اند، بلاک کردن پارامترها در کنسول گوگل می تواند راه چاره ای محسوب میشود، اما بهترین راه تغییر سیستم ایجاد یو آر الهاست. بهتر است در این گونه موارد از چک باکس به جای لینک های مستقیم استفاده کنیم.

در مجموع بستن این چرخه های بی پایان در spider trap، یکی از کارهای تحسین بر انگیز یک سئوکار می تواند باشد. این کار برای یک سئوکار، سرگرم کننده اما بسیار چالشی محسوب میشود. اگر مثال های دیگری از spider trap را سراغ دارید، در بخش کامنت ها آن را بیان کنید.