گوگل به سئوکاران یادآوری می‌کند: ابزار حذف URL چگونه کار می‌کند؟
جان مولر از گوگل، جزئیات و نکات ریز ابزار حذف URL رو در شرایطی که یک سایت هک شده، توضیح میده.
جان مولر از گوگل به سوالی در مورد حذف URLهای هک شده‌ای که هنوز در ایندکس گوگل نمایش داده میشن، جواب داده. اون توضیح داده که چطور میشه این صفحات رو از نتایج جستجو حذف کرد و بعد هم نکات و پیچیدگی‌های مربوط به این شرایط خاص رو بررسی کرده.
حذف صفحات هک شده از نتایج جستجوی گوگل
شخصی که این سوال رو پرسیده، قربانی یک حمله هکری به اسم «هک ژاپنی» شده. به این حمله، هک ژاپنی میگن چون هکرها صدها یا حتی هزاران صفحه تقلبی به زبان ژاپنی روی سایت ایجاد میکنن. این شخص مشکل رو برطرف کرده و صفحات اسپم و آلوده رو پاک کرده، اما حالا با کلی صفحه 404 مواجهه که هنوز توی نتایج جستجوی گوگل نمایش داده میشن.
حالا اون میخواد این صفحات رو از ایندکس گوگل حذف کنه تا سایتش دیگه با این URLهای اسپم شناخته نشه.
اون‌ها پرسیدن:
«سایت من اخیراً دچار حمله هک ژاپنی شده. من سایتم رو به یک هاستینگ جدید منتقل کردم و تمام اطلاعات قبلی رو پاک کردم.
اما مشکل اینجاست که هنوز کلی URL ژاپنی ایندکس شده.
حالا چطور میتونم این هزاران URL رو از روی سایتم دی‌ایندکس کنم؟»
این سوال یک مشکل رایج رو بعد از حمله هک ژاپنی نشون میده؛ یعنی وقتی که صفحات هک شده، حتی مدت‌ها بعد از اینکه پاک شدن، با سماجت توی ایندکس گوگل باقی میمونن. این موضوع نشون میده که بازیابی سایت فقط با حذف محتوای مخرب تموم نمیشه؛ ایندکس گوگل هم باید این صفحات رو پاک کنه، و این فرآیند میتونه به طرز کلافه‌کننده‌ای طولانی باشه.
چطور صفحات هک ژاپنی را از گوگل حذف کنیم؟
جان مولر از گوگل پیشنهاد کرد که از ابزار حذف URL (URL Removals Tool) در سرچ کنسول استفاده بشه. برخلاف چیزی که از اسم این ابزار به نظر میرسه، این ابزار URL رو از ایندکس گوگل حذف نمیکنه؛ فقط باعث میشه URLها سریع‌تر از نتایج جستجو مخفی بشن، البته به شرطی که محتوا از روی سایت پاک شده باشه یا دسترسی ربات گوگل بهش مسدود شده باشه. در حالت عادی، گوگل یک صفحه رو بعد از اینکه مجدداً خزش (crawl) کرد و متوجه شد که صفحه حذف شده (خطای 404) یا مسدود شده، از نتایج جستجو حذف میکنه.
سه پیش‌نیاز برای استفاده از ابزار حذف URL
- صفحه مورد نظر حذف شده باشه و کد وضعیت 404 یا 410 رو برگردونه.
- ایندکس شدن URL با استفاده از متا تگ robots مسدود شده باشه: <meta name=”robots” content=”noindex”>
- از خزش URL توسط فایل robots.txt جلوگیری شده باشه.
پاسخ جان مولر این بود:
«شما میتونید از ابزار حذف URL در سرچ کنسول برای URLهای تکی استفاده کنید (حتی اگه همه URLها با یک پیشوند مشترک شروع بشن). من بودم از این ابزار برای هر URLای که خیلی در دسترسه و دیده میشه استفاده می‌کردم (برای پیدا کردنشون گزارش Performance رو در ۲۴ ساعت گذشته چک کنید).»
«این ابزار URLها رو از ایندکس حذف نمیکنه، ولی ظرف یک روز اون‌ها رو از نتایج مخفی میکنه. اگه صفحات الان حذف شدن و خطای 404 میدن، به مرور زمان خودشون از نتایج حذف میشن، اما ابزار حذف URL به شما این امکان رو میده که نمایش اون‌ها رو «فوراً» متوقف کنید. (هم ریدایرکت کردن و هم خطای 404 هر دو خوبن، ولی از نظر فنی، کد 404 پاسخ صحیح‌تریه.)»
مولر توضیح داد که ابزار حذف URL، آدرس‌ها رو از ایندکس گوگل پاک نمیکنه، بلکه فقط اون‌ها رو سریع‌تر از حالت عادی (که منتظر خزش مجدد گوگل باشیم) از نتایج جستجو مخفی میکنه. توضیحات اون یک یادآوریه که این ابزار یک اثر موقتی روی دیده شدن در نتایج جستجو داره و راهی برای حذف دائمی یک URL از خودِ ایندکس گوگل نیست. حذف واقعی از ایندکس زمانی اتفاق میفته که گوگل بررسی کنه و مطمئن بشه که صفحه واقعاً حذف شده یا از خزش و ایندکس شدن مسدود شده.
پاسخی بگذارید