چطور خطای “Blocked due to other 4xx issue” را در سرچ کنسول گوگل رفع کنیم؟

ارور “Blocked due to other 4xx issue” به این معنی است که صفحه شما با یکی از کدهای وضعیت HTTP سری 4xx پاسخ داده است؛ البته به جز کدهای رایج‌تری مثل 401، 403، 404 یا Soft 404. در نتیجه، این صفحه از ایندکس شدن توسط گوگل مسدود شده است.

با اینکه لیست خطاهای سمت کاربر (Client Errors) سری 4xx حسابی بلند و بالاست، اما بعضی از این کدهای وضعیت HTTP به ندرت در دنیای واقعی وب دیده می‌شوند.

به همین خاطر است که گوگل همه آن‌ها را زیر چتر وضعیت “Blocked due to other 4xx issue” دسته‌بندی می‌کند، برخلاف خطاهای 401، 403، 404 و Soft 404 که هر کدام در گزارش ایندکس صفحات (Page indexing report) یک وضعیت جداگانه برای خودشان دارند.

اما قبل از اینکه شروع کنیم، باید بدانید که گوگل همیشه هم در دسته‌بندی خطاهای 4xx بی‌نقص عمل نمی‌کند. این یعنی گاهی ممکن است مثلاً برخی از خطاهای 404 را هم زیرمجموعه وضعیت “Blocked due to other 4xx issue” ببینید.

برای اینکه بی‌دلیل گیج نشوید، در این مقاله از بلاگ رادزاد، قدم به قدم دلایل رایج و راه‌های حل این مشکل را با هم بررسی می‌کنیم.

دلایل رایج بروز خطای “Blocked due to other 4xx issue”

اگر در گزارش ایندکس صفحات (Page indexing) خود با خطای “Blocked due to other 4xx issue” مواجه شدید، معنی‌اش این است که:

1. گوگل‌بات (ربات گوگل) درخواستی را برای دریافت یک صفحه مشخص به سرور شما فرستاده است، و
2. سرور به دلیل وجود یک خطا از سمت مرورگر یا موتور جستجو (یعنی سمت کاربر یا Client)، با یکی از کدهای وضعیت 4xx پاسخ داده است.

اگرچه برخی از خطاهای 4xx نادر هستند، اما یادتان باشد هرچقدر وب‌سایت شما بزرگ‌تر باشد، احتمال اینکه با این مشکلات روبرو شوید بیشتر می‌شود.

بیایید نگاهی به رایج‌ترین خطاهای 4xx که می‌توانند باعث نمایش ارور “Blocked due to other 4xx issue” در سرچ کنسول گوگل شوند، بیندازیم.

خطای “Bad request (400)” (درخواست نامعتبر)

کد پاسخ HTTP 400 به وضعیتی اشاره دارد که سرور شما به دلیل یک درخواست نادرست و ناقص، نتوانسته صفحه مورد نظر را تحویل دهد.

دلایل این کد پاسخ می‌تواند مواردی مثل ساختار نادرست URL یا آپلود فایلی بزرگ‌تر از محدودیت آپلود سرور باشد.

خطای “Blocked due to unauthorized request (401)” (مسدود شده به دلیل درخواست غیرمجاز)

این یکی از خطاهای 4xx است که گوگل در سرچ کنسول برایش یک وضعیت جداگانه در نظر گرفته است.

اگر برای صفحه‌ای کد پاسخ HTTP 401 را مشاهده می‌کنید، نشان می‌دهد که URL درخواستی پشت یک فرم ورود (لاگین) پنهان شده است.

در بیشتر موارد، شما خودتان عمداً چنین صفحاتی را مسدود می‌کنید، چون نمی‌خواهید ربات‌ها و کاربران به طور اتفاقی در وب به محتوای شما دسترسی پیدا کنند. در غیر این صورت، باید تحقیق کنید که چرا سرچ کنسول این وضعیت را برای آن صفحه نشان می‌دهد.

خطای “Blocked due to access forbidden (403)” (مسدود شده به دلیل دسترسی ممنوع)

وقتی یک صفحه کد وضعیت HTTP 403 را برمی‌گرداند، یعنی زمانی که مرورگر یا موتور جستجو آن را درخواست می‌کند، سرور شما از دادن دسترسی به آن URL خودداری می‌کند.

اگرچه در شرایطی کاملاً طبیعی است که یک صفحه با این کد وضعیت پاسخ دهد، اما اگر این خطا به‌صورت کنترل‌نشده رخ دهد، می‌تواند به مشکلات سئوی بیشتری در وب‌سایت شما منجر شود.

این هم یکی دیگر از مواردی است که گوگل در گزارش ایندکس صفحات، یک وضعیت جداگانه به آن اختصاص داده است. برای اینکه یاد بگیرید چطور با خطای «دسترسی ممنوع (403)» برخورد کنید و از مشکلات ایندکس جلوگیری کنید، می‌توانید مقالات تخصصی در این زمینه را مطالعه کنید. (برای مثال مقاله آنیا سیانو – Ania Siano – در این باره بسیار مفید است).

خطای “Not found (404)” (پیدا نشد)

کد وضعیت HTTP 404 خبر می‌دهد که سرور نتوانسته صفحه درخواستی را پیدا کند، چون آن صفحه دیگر در وب‌سایت شما وجود ندارد.

هرچند این موضوع ترسناک به نظر می‌رسد، اما گاهی اوقات تنظیم کد 404 می‌تواند نتیجه بهینه‌سازی محتوای تکراری یا صفحات بی‌صاحب (Orphan Pages) در وب‌سایت شما باشد.

از آنجایی که گوگل این مشکل را در یک وضعیت جداگانه پوشش می‌دهد، تصمیم گرفتم نگاه دقیق‌تری به آن بیندازم. می‌توانید مقالات تخصصی در این حوزه را بخوانید تا یاد بگیرید چه زمانی باید مشکل «پیدا نشد (404)» را در سرچ کنسول گوگل برطرف کنید.

برای کسب اطلاعات بیشتر در مورد این وضعیت و نحوه رفع آن، می‌توانید مقاله مربوط به آن را در بلاگ ما مطالعه کنید.

خطای “Gone (410)” (حذف شده)

کد وضعیت HTTP 410 نشان می‌دهد که یک صفحه برای همیشه از وب‌سایت شما حذف شده است.

به طور کلی، این وضعیت باید نتیجه اقدامات عمدی شما باشد.

چه زمانی ممکن است بخواهید صفحه شما کد وضعیت 410 را برگرداند؟ این حالت زمانی است که یک صفحه:

• هیچ تقاضایی در جستجو یا ارزش تجاری برای وب‌سایت شما ندارد، بنابراین دیگر نمی‌خواهید وجود داشته باشد.
• باعث هدر رفتن بودجه خزش (Crawl Budget) شما می‌شود. به این ترتیب، تنظیم کد وضعیت 410 به گوگل‌بات نشان می‌دهد که خزش بیشتر غیرضروری است و باید آن URL را از ایندکس حذف کند.

و اگرچه نتیجه نهایی برای این URLها مشابه صفحات 404 است، اما یادتان باشد که کد وضعیت 410 برای گوگل در مورد اتفاقی که برای صفحات شما افتاده، مشخص‌تر است.

به این ترتیب، تنظیم کد وضعیت HTTP 410 ممکن است محتوای ناخواسته شما را سریع‌تر از یک 404 استاندارد از نتایج جستجو حذف کند.

اما مراقب باشید: به دلیل شباهت آن به خطای 404، گاهی ممکن است خطای «حذف شده (410)» را در گزارش وضعیت «پیدا نشد (404)» مشاهده کنید.

خطای “Length Required (411)” (طول محتوا الزامی است)

اگر برای صفحه‌ای کد پاسخ HTTP 411 را مشاهده می‌کنید، این نشان می‌دهد که مرورگر شما ممکن است هدر content-length را تعریف نکرده باشد.

از دیدگاه سرور، هدر content-length برای ارزیابی اندازه درخواست شما حیاتی است.

برای حل این مشکل، باید با تیم توسعه‌دهنده خود تماس بگیرید تا یک هدر مناسب تنظیم کنند.

خطای “Too many requests (429)” (درخواست‌های بیش از حد)

این خطا با سایر وضعیت‌های 4xx که در بالا گفتیم فرق دارد، چون گوگل آن را یک خطای سرور می‌داند.

چرا؟ وقتی سرور شما با کد پاسخ HTTP 429 پاسخ می‌دهد، یعنی در یک بازه زمانی مشخص، درخواست‌های زیادی دریافت کرده است؛ مثلاً از خزنده‌های موتورهای جستجو.

اما از دیدگاه گوگل، ربات‌های دوست‌داشتنی مثل گوگل‌بات نمی‌توانند باعث بار اضافی روی سرور شوند، چون وقتی سرور کند می‌شود، آن‌ها تعداد درخواست‌های خود را محدود می‌کنند. بنابراین، گوگل این وضعیت را ناشی از مشکلات خود سرور شما می‌داند.

اما یادتان باشد که هنوز خزنده‌ها و ربات‌های موتورهای جستجوی دیگری هم هستند که به سرور شما درخواست ارسال می‌کنند و بر ظرفیت پردازش آن تأثیر می‌گذارند.

گاهی اوقات، برای مثال، حتی اگر گوگل‌بات فقط یک درخواست ارسال کرده باشد، باز هم ممکن است برای مدیریت آن «بیش از حد» باشد و سرور کد 429 را برگرداند.

اگر با خطای “Too many requests (429)” مواجه شده‌اید، سعی کنید کش مرورگر خود را پاک کنید یا با شرکت هاستینگ خود تماس بگیرید.

چگونه خطای “Blocked due to other 4xx issue” را رفع کنیم؟

از آنجایی که وضعیت “Blocked due to other 4xx issue” ناشی از یک خطا در سمت کاربر است، ممکن است نتوانید مشکل مورد نظر را در مرورگر خود بازسازی کنید.

این به آن معنا نیست که مشکل وجود ندارد. بلکه نشان می‌دهد که برخی از بازدیدکنندگان وب‌سایت شما با آن مشکل مواجه می‌شوند، بنابراین هنوز هم باید برای شما حیاتی باشد که آن را برطرف کنید.

اجازه دهید شما را در یک فرآیند گام‌به‌گام راهنمایی کنم تا به شما در یافتن و رفع خطای “Blocked due to other 4xx issue” کمک کنم.

لیست صفحات آسیب‌دیده را در سرچ کنسول گوگل تحلیل کنید

وارد گزارش Page indexing (یا Index Coverage) شوید و به صفحه وضعیت مربوطه بروید تا URLهای دارای خطای “Blocked due to other 4xx issue” را تحلیل کنید.

• بررسی کنید که چه تعداد از صفحات شما تحت تأثیر قرار گرفته‌اند تا ارزیابی کنید مشکل چقدر جدی است.
• به دنبال الگوهای تکراری در ساختار URL صفحات بگردید. سعی کنید ببینید آیا URLهای آسیب‌دیده در یک دسته خاص قرار دارند یا نه. در این صورت، به احتمال زیاد بر اساس یک قالب (Template) یکسان ساخته شده‌اند که ممکن است تحلیل بیشتر و رفع مشکل را آسان‌تر کند.

وقتی وارد صفحه وضعیت شدید، روی نماد هرم معکوس کلیک کنید تا URLها را برای یک مسیر خاص که می‌خواهید تحلیل کنید، فیلتر کنید.

سپس، می‌توانید با استفاده از ابزار URL Inspection هر یک از صفحات آسیب‌دیده را بیشتر بررسی کنید. این ابزار ممکن است به شما در تشخیص اینکه گوگل هر چند وقت یک‌بار یک صفحه را می‌خزد یا چگونه آن را کشف کرده است، کمک کند.

با این حال، در مورد خطای “Blocked due to other 4xx issue” رایج است که گوگل نتواند صفحه ارجاع‌دهنده (referring page) یا نقشه سایت را مشخص کند. در این صورت، تشخیص ریشه‌های مشکل ممکن است یک چالش واقعی باشد.

در این حالت، از مشورت با توسعه‌دهندگان خود در مورد صفحات دارای خطای “Blocked due to other 4xx issue” نترسید. از آنجایی که آن‌ها باید تاریخچه وب‌سایت و وابستگی فایل‌های شما را مثل کف دستشان بلد باشند، می‌توانند سرنخی در مورد دلایل احتمالی این مشکلات به شما بدهند.

به دنبال خطای “Submitted URL Blocked due to other 4xx issue” بگردید

این خطا قبلاً یک وضعیت جداگانه در سرچ کنسول گوگل بود.

چیزی که تغییر نکرده این است که بررسی اینکه آیا هیچ یک از URLهای آسیب‌دیده شما به نقشه سایت XML شما اضافه شده‌اند یا نه، هنوز هم باید بخش جدایی‌ناپذیر تحلیل شما در سرچ کنسول باشد.

اکنون می‌توانید تمام URLهای آسیب‌دیده را به «All submitted URLs» در گوشه بالا سمت چپ گزارش فیلتر کنید تا URLهایی را که به سایت‌مپ شما اضافه شده‌اند، پیدا کنید.

در یک سناریوی ایده‌آل، فایل‌های سایت‌مپ شما باید فقط شامل صفحاتی باشند که با کد وضعیت 200 پاسخ می‌دهند. در غیر این صورت، باید حذف صفحات آسیب‌دیده را در اولویت قرار دهید.

حتی اگر عمداً برخی از صفحات خود را طوری تنظیم کرده‌اید که با یک کد خطای 4xx مثل «حذف شده (410)» پاسخ دهند، باید به یاد داشته باشید که اضافه کردن این صفحات به سایت‌مپ ممکن است بودجه خزش شما را هدر دهد.

علاوه بر این، اگر یک وب‌سایت بزرگ را مدیریت می‌کنید، به جز نگاه کردن به لیست در سرچ کنسول، باید یک خزش کامل از سایت‌مپ خود نیز انجام دهید. به یاد داشته باشید که چون گزارش ایندکس صفحات به شما نمونه‌ای از ۱۰۰۰ صفحه را نشان می‌دهد، ممکن است فقط یک دید کلی از وضعیت صفحات ارسالی شما ارائه دهد.

لینک‌سازی داخلی خود را تحلیل کنید

یک گام دیگر که باید در اولویت قرار دهید، نظارت بر لینک‌سازی داخلی به صفحات دارای خطای “Blocked due to other 4xx issue” است.

هرچند طبق مستندات رسمی گوگل، «صفحاتی که کدهای وضعیت HTTP 4xx (به جز 429) را برمی‌گردانند، بودجه خزش را هدر نمی‌دهند»، اما وجود تعداد زیادی لینک داخلی به صفحات 4xx در واقع می‌تواند بر نحوه خزش وب‌سایت شما توسط گوگل تأثیر بگذارد.

چرا؟ چون وقتی شما به طور گسترده به صفحاتی لینک می‌دهید که شاید برایتان اهمیتی ندارند، گوگل‌بات فکر می‌کند که آن‌ها واقعاً برای شما مهم هستند. در نتیجه، ربات‌ها منابع خود را برای رسیدن به محتوایی صرف می‌کنند که در نهایت نمی‌توانند ببینند یا به آن دسترسی پیدا کنند.

به همین دلیل است که بررسی لینک‌سازی داخلی به صفحات 4xx باید حیاتی باشد، به خصوص وقتی مطمئن هستید که برخی از آن‌ها، مانند صفحات «حذف شده (410)»، برای همیشه در وب‌سایت شما باقی می‌مانند.

اگر نمی‌توانید صفحات ارجاع‌دهنده را در ابزار URL Inspection پیدا کنید، باید یک خزش کامل از وب‌سایت خود انجام دهید. برای این کار، می‌توانید از یک خزنده‌ی سئو مانند Screaming Frog یا Deepcrawl استفاده کنید.

برای رفع مشکل لینک‌سازی داخلی نادرست، می‌توانید:

• لینک‌های شکسته به صفحات 4xx را حذف کنید (این‌ها اغلب صفحات 404 یا 400 هستند).
• لینک‌ها را از صفحات 4xx با صفحات مرتبطی که با کد وضعیت 200 پاسخ می‌دهند، جایگزین کنید.

اگر می‌خواهید لینک‌سازی داخلی به این صفحات را همانطور که هست حفظ کنید، ادامه مطلب را بخوانید تا با تاکتیک‌های بیشتری برای رفع صفحات “Blocked due to other 4xx issue” آشنا شوید.

کد پاسخ دقیق را شناسایی کنید

هنگامی که تصمیم گرفتید صفحات “Blocked due to other 4xx issue” شما نیاز به اقدامات بیشتری دارند، باید بررسی کنید که چه کدهای پاسخی را برمی‌گردانند.

این چیزی نیست که بتوانید در سرچ کنسول گوگل پیدا کنید، بنابراین اینجا زمانی است که می‌توانید به سراغ ابزار توسعه‌دهندگان کروم (Chrome DevTools) بروید.

شما می‌توانید User Agent گوگل‌بات را در مرورگر خود شبیه‌سازی کنید و بررسی کنید که یک صفحه مشخص چه کد وضعیتی را برمی‌گرداند.

برای این کار، به تب ‘Network’ بروید و در پایین کنسول، تب ‘Network conditions’ را باز کنید. سپس، برای شبیه‌سازی User Agent گوگل‌بات، تیک ‘Use browser default’ را در بخش User-agent بردارید و از لیست کشویی ‘Googlebot Smartphone’ را انتخاب کنید.

در کنسول اصلی بالا، خواهید دید که فایل‌ها و منابع خاص استفاده شده در صفحه شما چه کدهای وضعیتی را برمی‌گردانند.

یک راه‌حل آسان دیگر استفاده از ابزار Link Redirect Trace است. این افزونه گوگل کروم به شما امکان می‌دهد تا وضعیت‌های HTTP صفحات خود را هنگام مرور هر وب‌سایتی به صورت زنده ردیابی کنید.

گزینه دیگر این است که نگاهی به لاگ‌های سرور خود بیندازید. اینجاست که می‌توانید از خدمات تحلیل لاگ سرور ما در رادزاد هم کمک بگیرید.

وقتی کد پاسخ دقیق برای خطای “Blocked due to other 4xx issue” خود را بدانید، می‌توانید اقدامات بعدی خود را مشخص کنید. این اقدامات ممکن است برای مثال، مربوط به شناسایی هرگونه غلط املایی در URLهای شما برای رفع خطای «درخواست نامعتبر (400)» یا کار بر روی فایل .htaccess شما در مورد خطای «دسترسی ممنوع (403)» باشد.

صفحات آسیب‌دیده را ریدایرکت کنید

اگر نمی‌توانید یک مشکل خاص را که با آن دست و پنجه نرم می‌کنید برطرف کنید، یک روش خوب ممکن است ریدایرکت کردن صفحه با استفاده از یک ریدایرکت 301 باشد.

این همچنین یک راه‌حل معتبر است، به خصوص زمانی که URL آسیب‌دیده:

• بخش مهمی از ساختار وب‌سایت شما و برای کسب‌وکار شما ارزشمند است.
• بک‌لینک‌های زیادی به آن اشاره دارند.

برای اینکه یاد بگیرید چطور صفحات خود را به روشی سئو-فرندلی (SEO-friendly) ریدایرکت کنید و مشکلات مربوط به «خطای ریدایرکت» (Redirect error) در سرچ کنسول را برطرف کنید، حتماً راهنماهای ما در بلاگ رادزاد را در این زمینه مطالعه کنید.

مراقب باشید: گاهی اوقات، داده‌های مربوط به “Blocked due to other 4xx issue” در سرچ کنسول ممکن است دقیق و به‌روز نباشند. برای مثال، حتی اگر یک صفحه را ریدایرکت کرده باشید، گوگل ممکن است آخرین تغییر شما را متوجه نشده باشد، زیرا ممکن است این صفحات را به طور منظم نخزد. بنابراین، همیشه قبل از اقدام، کدهای پاسخ HTTP فعلی URLهای آسیب‌دیده خود را دوباره بررسی کنید.

یک وضعیت 4xx دیگر تنظیم کنید

اگر یک صفحه دارای خطای “Blocked due to other 4xx issue” دیگر با استراتژی وب‌سایت شما همخوانی ندارد، یا نمی‌توانید یک خطای 4xx خاص را برطرف کنید، تغییر وضعیت به 404 یا 410 را در نظر بگیرید.

وقتی به گوگل‌بات اطلاع می‌دهید که یک صفحه وجود ندارد، پس از مدتی، خزش خود را به حداقل می‌رساند، زیرا می‌فهمد که محتوایی برای پیدا کردن وجود ندارد.

همچنین، دیدن یک صفحه 404 آموزنده به جای یک صفحه خالی، می‌تواند به تجربه کاربری بهتر در وب‌سایت شما کمک کند.

جمع‌بندی

به طور خلاصه، به ندرت پیش می‌آید که خطای “Blocked due to other 4xx issue” وقتی موارد فردی و تصادفی باشند، به یک کابوس سئویی تبدیل شود. با این حال، در مقیاس بزرگ‌تر و بدون تجربه کافی، این مشکلات می‌توانند به مشکلات قابل توجهی منجر شوند.

و به یاد داشته باشید که هنگام مدیریت یک وب‌سایت بزرگ، باید اولویت‌های سئوی خود را با دقت تعیین کنید.

برای برخورد صحیح با خطای “Blocked due to other 4xx issue”، باید استراتژی سئوی فنی وب‌سایت خود را اصلاح کنید تا از هرج و مرج کنترل‌نشده جلوگیری کنید.

چرا باید به خطای “Blocked due to other 4xx issue” اهمیت دهید؟

گوگل با اکثر صفحات “Blocked due to other 4xx issue” (به جز “درخواست‌های بیش از حد (429)”) به یک شکل برخورد می‌کند: آن‌ها قابل ارائه نیستند، بنابراین گوگل‌بات فکر می‌کند که محتوای درخواستی وجود ندارد.

اگر به هیچ وجه این مشکل را برطرف نکنید، ممکن است پتانسیل وب‌سایت خود را برای ایندکس شدن و رتبه‌بندی محتوای ارزشمندتان محدود کنید.

همچنین، به یاد داشته باشید که باید به طور منظم وب‌سایت خود را نظارت کنید تا اطمینان حاصل کنید که هیچ یک از خطاهای مهم نادیده گرفته نمی‌شوند.

برای مثال، ممکن است برخی از خطاهای 4xx را در نسخه آزمایشی (Staging) وب‌سایت خود پیدا کنید. وقتی سایت شما هنوز فعال نیست، شناسایی آن‌ها توسط سرچ کنسول غیرممکن است. بنابراین، باید مراقب چنین اشتباهاتی باشید، زیرا احتمال نادیده گرفتن آن‌ها هنگام انجام مهاجرت وب‌سایت نیز بسیار زیاد است.

همچنین، در موارد نادر، ممکن است اتفاق بیفتد که حتی اگر صفحه شما با کد وضعیت 200 پاسخ می‌دهد، گوگل آن را به عنوان “Blocked due to other 4xx issue” تخصیص داده باشد. شناخت کامل وب‌سایت خود برای اطمینان از اینکه ابزارهای مختلف اطلاعات صحیحی را نشان می‌دهند، بسیار حیاتی است.

جمع بندی

خطای “Blocked due to other 4xx issue” در سرچ کنسول گوگل به خطاهای 4xx اشاره دارد که برخی از صفحات شما ممکن است با آن‌ها پاسخ دهند.

اگرچه برخی از آن‌ها احتمالاً از مشکلات کلیدی ایندکس نیستند که باید فوراً برطرف شوند، اما به یاد داشته باشید که گوگل آن‌ها را به دلیلی در گزارش ایندکس صفحات (Page indexing) ارائه می‌دهد.

برای یک بررسی کامل سئوی فنی وب‌سایت خود با ما در رادزاد تماس بگیرید تا حتی خطاهای جزئی را که ممکن است به مشکلات قابل توجهی تبدیل شده و به سلامت وب‌سایت شما آسیب برسانند، شناسایی و برطرف کنیم.