چطور خطای Discovered – Currently Not Indexed در گوگل سرچ کنسول را رفع کنیم؟

«Discovered – currently not indexed» یکی از وضعیت‌هایی هست که در سرچ کنسول گوگل باهاش مواجه می‌شیم. معنی این خطا اینه که گوگل از وجود یک صفحه در سایت شما باخبر شده، اما هنوز اون رو خزش نکرده (Crawl نکرده) و در نتیجه، فعلاً در نتایج جستجو ایندکس نشده.

به طور کلی، سه دلیل اصلی برای به وجود اومدن خطای «Discovered – currently not indexed» برای URLها وجود داره: کیفیت محتوا، لینک‌سازی داخلی و بودجه خزش (Crawl Budget).

هر کدوم از این مشکلات، راه‌حل‌های خاص خودشون رو دارن. بیایید با هم نگاهی دقیق‌تر به هر کدوم بندازیم.

خطای «Discovered – currently not indexed» دقیقاً یعنی چی؟

این وضعیت دو تا معنی مشخص داره: اول اینکه، گوگل صفحه شما رو پیدا کرده. دوم اینکه، گوگل در حال حاضر اون صفحه رو خزش و ایندکس نکرده.

در صفحه راهنمای سرچ کنسول گوگل، دلیل این اتفاق اینطور توضیح داده شده:

معمولاً، گوگل قصد داره که URL مورد نظر رو خزش کنه، اما پیش‌بینی کرده که این کار ممکنه به سرور سایت فشار بیاره و اون رو با کندی مواجه کنه؛ به همین دلیل، گوگل خزش رو به زمان دیگه‌ای موکول کرده. برای همینه که در این گزارش، تاریخ آخرین خزش (last crawl date) خالیه.

منبع: گزارش Index Coverage گوگل

البته این به این معنی نیست که محتوای شما هیچوقت خزش و ایندکس نمیشه. همونطور که خود گوگل هم گفته، این امکان وجود داره که بعداً و بدون اینکه شما کاری انجام بدید، گوگل دوباره برای خزش صفحه شما برگرده.

با این حال، موکول کردن خزش توسط گوگل فقط یکی از دلایل احتمالی این مشکله.

بیایید با هم تمام دلایل احتمالی این خطا رو بررسی کنیم و ببینیم چطور می‌تونیم اون‌ها رو برطرف کنیم تا سئوی سایتمون رو بهبود بدیم.

۷ راه‌حل برای برطرف کردن خطای «Discovered – currently not indexed»

۱. مشکلات کیفیت محتوا رو برطرف کنید

گوگل نمی‌تونه هر چیزی که در وب وجود داره رو خزش و ایندکس کنه. هر سایتی برای اینکه در رقابت باقی بمونه، باید یک استاندارد کیفیتی مشخصی رو رعایت کنه. گوگل تمرکزش رو روی خزش صفحات باکیفیت‌تر میذاره و ممکنه از خزش صفحات بی‌کیفیت به طور کامل صرف نظر کنه.

پس اگر محتوای شما خزش و ایندکس نشده، شاید لازم باشه به کیفیتش یه نگاه جدی بندازید.

این موضوع فقط به صفحاتی که این خطا رو گرفتن محدود نمیشه؛ بلکه ممکنه به کیفیت کل سایت شما مربوط باشه. جان مولر (John Mueller) از گوگل اشاره کرده که خطای «Discovered – currently not indexed» می‌تونه به خاطر یک مشکل کیفیتی در سطح کل سایت باشه.

البته شما نمی‌تونید دقیقاً بفهمید که گوگل چطور کیفیت وب‌سایت شما رو ارزیابی می‌کنه، اما چند کار هست که می‌تونید برای شروع حل این مشکل انجام بدید:

• دستورالعمل‌های ارزیابان کیفیت گوگل (Quality Rater Guidelines) رو مطالعه کنید.
• مطمئن بشید که هر صفحه، محتوای منحصر به فرد و غیرتکراری داره.

دستورالعمل‌های ارزیابان کیفیت گوگل رو بخونید

توصیه می‌کنم حتماً نگاهی به این دستورالعمل‌ها بندازید. این راهنما به طور دقیق توضیح میده که چطور کیفیت محتوای یک صفحه وب ارزیابی میشه.

مطالعه‌اش به شما کمک می‌کنه تا درک بهتری از محتوای باکیفیت از دید گوگل پیدا کنید و بعد می‌تونید همین استانداردها رو روی صفحات خودتون پیاده کنید.

اگر می‌خواهید عمیق‌تر وارد این موضوع بشید، مقاله ما در مورد E-E-A-T رو مطالعه کنید. این یک مفهومه که در دستورالعمل‌های ارزیابان کیفیت برای سنجش تجربه (Experience)، تخصص (Expertise)، اعتبار (Authoritativeness) و اعتماد (Trustworthiness) یک صفحه وب استفاده میشه.

و اگر برای نمایش تخصص و اعتبار سایتتون به گوگل به کمک نیاز دارید، می‌تونید روی خدمات سئو E-E-A-T رادزاد حساب کنید.

مطمئن شوید که محتوای منحصر به فرد دارید

اگر گوگل فکر کنه که URLهای شما تکراری هستن، ممکنه اون‌ها رو نادیده بگیره. چون منابع گوگل محدوده، تمرکزش رو روی خزش (و ایندکس کردن) باارزش‌ترین URLها میذاره. این یعنی داشتن محتوای منحصر به فرد که یک هدف مشخصی از کاربر رو برآورده می‌کنه.

URLهایی که این خطا رو گرفتن بررسی کنید و مطمئن بشید که:

«… به طور تصادفی URLهایی با الگوهای متفاوت تولید نمی‌کنید، […] چیزهایی مثل پارامترهایی که در URL دارید، حروف بزرگ و کوچک، همه این‌ها می‌تونن به محتوای تکراری منجر بشن. و اگه ما تعداد زیادی از این URLهای تکراری رو پیدا کنیم، ممکنه فکر کنیم که نیازی به خزش همه اون‌ها نداریم چون قبلاً یک نسخه از این صفحه رو دیده‌ایم.»منبع: جان مولر

به طور خلاصه، حرف جان مولر اینه که سایتتون رو برای محتوای تکراری (Duplicate Content) به دقت بررسی کنید. اگر محتوای تکراری دارید، مقاله‌ی ما در مورد محتوای تکراری رو بخونید. اگر URLهای مشابه زیادی دارید، از تگ‌های کنونیکال (Canonical Tags) استفاده کنید. این تگ‌ها به گوگل میگن که فقط نسخه اصلی صفحه شما رو ایندکس کنه.

یادتون باشه که گوگل می‌تونه تگ‌های کنونیکالی که به درستی ایجاد نشدن رو نادیده بگیره. اگر گوگل تگ کنونیکال شما رو نادیده بگیره، می‌تونید این موضوع رو از طریق وضعیت «Duplicate, Google chose different canonical than user» در سرچ کنسول متوجه بشید.

لیست URLهای مشکل‌دار رو بررسی کنید و مطمئن بشید که هر صفحه، محتوای منحصر به فردی داره. این کار شانس خزش و ایندکس شدن صفحه شما رو بالا می‌بره و علاوه بر اون، به کیفیت کلی سایت و رضایت کاربر هم کمک می‌کنه.

۲. بهترین شیوه‌های لینک‌سازی داخلی رو دنبال کنید

ربات گوگل (Googlebot) برای پیدا کردن صفحات مختلف سایت شما و درک ارتباط بین اون‌ها، لینک‌های داخلی رو دنبال می‌کنه. لینک‌های داخلی همچنین به توزیع PageRank (یک سیگنال برای نشان دادن اهمیت صفحه که در رتبه‌بندی استفاده میشه) کمک می‌کنن.

فرض کنید گوگل لینک‌های ورودی کافی برای یک URL پیدا نکنه. در این صورت، ممکنه به خاطر نبودن سیگنال‌های کافی که به اهمیت اون صفحه اشاره کنن، از خزشش صرف نظر کنه. گوگل ممکنه فرض کنه صفحاتی که لینک‌سازی داخلی ضعیفی دارن، مهم نیستن. در نتیجه، این صفحات ممکنه با وضعیت «Discovered – currently not indexed» روبرو بشن.

لینک‌سازی داخلی اصولی یعنی ایجاد یک ساختار منطقی با وصل کردن صفحات به هم. این ساختار به موتورهای جستجو و کاربران اجازه میده تا سلسله مراتب صفحات شما و ارتباط بین اون‌ها رو درک کنن.

با استفاده درست از لینک‌سازی داخلی، هم به ربات گوگل کمک می‌کنید تا تمام محتوای شما رو پیدا کنه و هم شانس اون‌ها رو برای گرفتن رتبه‌های بالا افزایش می‌دید. در مورد حل خطای «Discovered – currently not indexed»، لینک‌سازی داخلی به صفحاتی که هنوز خزش و ایندکس نشدن، شانس دیده شدن اون‌ها توسط گوگل رو بیشتر می‌کنه.

برخی از بهترین روش‌ها برای لینک‌سازی داخلی عبارتند از:

• محتواهای اصلی (Core Content) خودتون رو مشخص کنید و از صفحات دیگه به اون‌ها لینک بدید.
• از لینک‌های متنی (Contextual Links) در دل محتوای خودتون استفاده کنید.
• صفحات رو بر اساس سلسله مراتب به هم لینک کنید (مثلاً از صفحات اصلی به صفحات مکمل و برعکس).
• سایتتون رو با لینک‌های بی‌رویه اسپم نکنید.
• در بهینه‌سازی انکر تکست (Anchor Text) زیاده‌روی نکنید.
• به محصولات یا مقالات مرتبط لینک بدید.
• صفحات یتیم (Orphan Pages) رو پیدا کرده و به اون‌ها لینک داخلی بدید.

می‌خواهید بیشتر بدونید؟ مقاله‌ی ما در مورد لینک داخلی رو حتماً مطالعه کنید.

همچنین می‌تونید برای بهینه‌سازی لینک‌سازی داخلی با کارشناسان ما در رادزاد تماس بگیرید.

۳. جلوی خزش و ایندکس شدن صفحات بی‌کیفیت رو توسط گوگل بگیرید

اینکه به گوگل اجازه بدید بدون هیچ محدودیتی در کل سایت شما بچرخه، دو نتیجه منفی داره.

اول اینکه، ربات گوگل تک‌تک صفحات سایت شما رو بازدید می‌کنه تا جایی که بودجه خزشش تموم بشه. اگه ربات گوگل صفحات بی‌کیفیت رو خزش کنه، ممکنه قبل از اینکه به صفحات مهم شما برسه، محدودیت خزشش تموم بشه.

دوم اینکه، اگه به گوگل اجازه بدید صفحات بی‌کیفیت رو خزش و ایندکس کنه، ممکنه دیدگاهش نسبت به کیفیت کل سایت شما منفی بشه. این موضوع می‌تونه به رتبه‌بندی شما آسیب بزنه و همچنین تقاضای خزش رو کاهش بده و یک چرخه معیوب از مشکلات بودجه خزش ایجاد کنه.

صفحات بی‌کیفیت شامل این موارد میشن:

• محتوای قدیمی و تاریخ مصرف گذشته
• صفحاتی که توسط باکس جستجوی داخلی سایت ایجاد میشن
• محتوای تکراری
• صفحاتی که با اعمال فیلترها ساخته میشن (مثلاً در فروشگاه‌های اینترنتی)
• محتوای تولید شده به صورت خودکار
• محتوای تولید شده توسط کاربر (مثل کامنت‌های اسپم)

اگه همین الان هم با مشکل ایندکس نشدن محتوا درگیر هستید، باید جلوی خزش و ایندکس شدن این صفحات رو بگیرید.

با استفاده از فایل robots.txt جلوی خزش صفحات بی‌کیفیت رو بگیرید و از متا تگ noindex برای جلوگیری از ایندکس شدنشون استفاده کنید.

4. مطمئن شوید فایل Robots.txt جلوی ایندکس شدن سایت شما را نگرفته باشد

یکی دیگر از مشکلات احتمالی، فایل robots.txt شماست. این فایل به گوگل می‌گوید که کدام صفحات وب‌سایت شما را باید خزش کند و کدام‌ها را نباید. اگر به طور تصادفی دسترسی گوگل به وب‌سایت خود را مسدود کرده باشید، این موضوع می‌تواند دلیل ایندکس نشدن سایت شما را توضیح دهد.

دستور Disallow (در فایل robots.txt سایت شما) جلوی خزش تمام صفحات سایت شما توسط گوگل را می‌گیرد. شما می‌توانید این دستور را بررسی کنید و مطمئن شوید که هیچ دستوری در فایل robots.txt وجود ندارد که مانع ایندکس شدن صفحه شما شود.

اگر چنین دستوری وجود داشت، باید آن را با استفاده از ویرایشگر robots.txt در افزونه سئوی خود یا مستقیماً از طریق هاست خودتان تغییر دهید. مثلاً در افزونه Rank Math می‌توانید از مسیر WordPress Dashboard → Rank Math SEO → General Settings → Edit robots.txt این کار را انجام دهید.

5. یک نقشه سایت (Sitemap) بهینه بسازید

یک نقشه سایت بهینه می‌تونه ربات گوگل رو در فرآیند خزش و ایندکس راهنمایی کنه. در واقع مثل یک نقشه راه برای گوگل عمل می‌کنه تا راحت‌تر به محتوای شما دسترسی پیدا کنه.

اما اگه نقشه سایت شما به درستی بهینه نشده باشه، می‌تونه تاثیر منفی روی بودجه خزش شما بذاره و باعث بشه ربات گوگل محتوای مهم شما رو از دست بده.

یک نقشه سایت خوب باید شامل این موارد باشه:

• URLهایی که با کد وضعیت 200 (OK) پاسخ میدن.
• URLهایی که متا تگ noindex برای جلوگیری از ایندکس ندارن.
• فقط نسخه‌های کنونیکال (اصلی) صفحات شما.

اگر می‌خواهید در مورد بهینه‌سازی نقشه سایت بیشتر بدونید، این راهنمای نهایی برای نقشه سایت XML رو مطالعه کنید.

6. ریدایرکت‌ها رو اصلاح کنید

شما باید از زنجیره ریدایرکت (Redirect Chains) و حلقه ریدایرکت (Redirect Loops) دوری کنید.

• زنجیره ریدایرکت زمانی اتفاق میفته که شما می‌خواهید ترافیک رو از صفحه A به صفحه B منتقل کنید، اما به طور غیرضروری، اول اون رو به صفحه C و بعد به B می‌فرستید.
• حلقه ریدایرکت زمانی اتفاق میفته که یک زنجیره ریدایرکت ایجاد می‌کنید که از یک صفحه شروع میشه و در نهایت به همون صفحه برمی‌گرده و کاربران و ربات‌ها رو در یک چرخه بی‌پایان گیر میندازه.

هر دوی این موارد، گوگل رو مجبور می‌کنن تا چندین درخواست غیرضروری به سرور شما بفرسته و بودجه خزش شما رو هدر بده.

و در صورتی که ریدایرکت‌های شما به درستی کار نکنن، ممکنه در سرچ کنسول با وضعیت «Redirect error» مواجه بشن.

برای اینکه بودجه خزش خودتون رو برای ریدایرکت‌های غیرضروری هدر ندید، به صفحات ریدایرکت شده لینک ندید. به جای اون، لینک‌ها رو آپدیت کنید تا مستقیماً به صفحات با کد 200 (OK) اشاره کنن.

همچنین، همیشه مطمئن بشید که از بهترین روش‌ها برای پیاده‌سازی ریدایرکت‌ها پیروی می‌کنید.

7 مشکلات سرور و کندی سایت رو برطرف کنید

مشکلات خزش ممکنه به این دلیل اتفاق بیفتن که سرور شما تحت فشار زیادیه (و دیرتر از حد انتظار پاسخ میده). اگه ربات گوگل نتونه به یک صفحه خاص دسترسی پیدا کنه چون سرور شما کنده، فعالیت خزش خودش رو کاهش میده (تقاضای خزش کم میشه). این موضوع می‌تونه باعث بشه که بعضی از محتواهای شما خزش نشن.

گوگل در آینده دوباره برای بازدید از سایت شما تلاش می‌کنه، اما کل فرآیند ایندکس با تاخیر مواجه میشه.

بهتره با شرکت هاستینگ خودتون در مورد مشکلات احتمالی سرور صحبت کنید.

در همین حین، گزارش Crawl stats رو در سرچ کنسول گوگل چک کنید. گزارش رو باز کنید، دامنه خودتون رو انتخاب کنید و روی Average response time (ms) کلیک کنید. این نمودار به شما نشون میده که لود شدن سرور شما چقدر طول می‌کشه. به احتمال زیاد متوجه ارتباط بین تعداد کل درخواست‌های خزش و میانگین زمان پاسخ سرور خواهید شد.

برای اینکه بیشتر در مورد ارتباط بین عملکرد وب‌سایت و بودجه خزش بدونید، مقاله ما در مورد بهینه سازی بودجه خزش رو بخونید.

8. مشکل سایت‌های سنگین و پرمصرف رو حل کنید

سایت‌هایی که برای لود شدن به منابع زیادی نیاز دارن، یکی دیگه از دلایل مشکلات خزش هستن.

اگر یک صفحه برای خزش و رندر شدن به چندین منبع اضافی (مثل چندین فایل CSS یا جاوا اسکریپت) نیاز داشته باشه، تاثیر منفی قابل توجهی روی بودجه خزش شما میذاره.

دلیلش اینه که هر منبعی که ربات گوگل برای رندر کردن صفحه شما استفاده می‌کنه، از بودجه خزش شما کم می‌کنه.

شما باید فایل‌های جاوا اسکریپت و CSS سایتتون (که معمولاً مقصرهای اصلی هستن) رو بهینه‌سازی کنید. بهینه‌سازی این فایل‌ها، تاثیر منفی کدهای شما رو کاهش میده.

حتماً. در ادامه، ترجمه‌ی بخش دوم متن با همان لحن و سبک قبلی و با در نظر گرفتن نکات سفارشی‌سازی برای وب‌سایت رادزاد ارائه میشه:

9. وب‌سایت شما جدید است

اگر وب‌سایت شما کاملاً جدید باشد، غیرعادی نیست که برخی از صفحات با خطای «discovered – currently not indexed» مشخص شوند. ممکن است مدتی طول بکشد تا گوگل تمام صفحات سایت شما را پیدا و ایندکس کند.

اگر وب‌سایت شما نسبتاً جدید است (کمتر از چند ماه از عمر آن می‌گذرد)، بهترین کاری که می‌توانید انجام دهید این است که صبور باشید. گوگل در نهایت تمام صفحات سایت شما را ایندکس خواهد کرد.

حتی بدون نیاز به ابزارهای وبمستر، برخی قابلیت‌ها مثل ایندکس فوری (Instant Indexing) که در افزونه‌هایی مانند Rank Math وجود دارد، به شما کمک می‌کند تا URLهای خود را به موتورهای جستجویی که از پروتکل IndexNow پشتیبانی می‌کنند، ارسال کنید و به ایندکس شدن سریع‌تر وب‌سایت و محتوای آن کمک کنید.

کاربران نسخه‌های پرمیوم برخی افزونه‌های سئو می‌توانند URLها را برای وضعیت‌های خاصی مستقیماً از طریق قابلیت ایندکس فوری ارسال کنند.

10. بررسی کنید آیا سایت شما توسط گوگل جریمه (Penalty) شده است؟

اگر توسط گوگل جریمه شده باشید، این موضوع می‌تواند دلیل ایندکس نشدن وب‌سایت شما را توضیح دهد. بهترین راه برای بررسی اینکه آیا وب‌سایت شما جریمه شده یا نه، این است که نام سایت خود را در گوگل جستجو کنید. اگر وب‌سایت خود را در هیچ کجای نتایج جستجو نمی‌بینید، به احتمال زیاد سایت شما جریمه شده است. اگر سایت شما جریمه شده باشد، باید قبل از اینکه گوگل سایت شما را ایندکس کند، مشکلی که باعث جریمه شده را برطرف کنید.

چه زمانی باید صفحات با خطای «Discovered – currently not indexed» رو بهینه کنیم؟

در بعضی موارد، URLهایی که این وضعیت رو دارن نیازی به آپدیت ندارن. اگر شرایط زیر برقرار بود، لازم نیست کاری انجام بدید:

• تعداد URLهای مشکل‌دار کمه و به مرور زمان خزش و ایندکس میشن.
• گزارش شامل URLهایی میشه که اصلاً نباید خزش یا ایندکس بشن (مثلاً اون‌هایی که تگ کنونیکال یا noindex دارن، یا توسط robots.txt بلاک شدن).

خیلی مهمه که اول بررسی کنید آیا URLهای شما اصلاً باید خزش بشن یا نه. طبیعیه که بعضی از صفحات با این خطا گزارش بشن. اما اگر:

• تعداد این URLها در حال افزایشه
• URLهای مهم و کلیدی شما این وضعیت رو دارن

اون وقت باید حتماً صفحات مشکل‌دار رو بررسی و بهینه‌سازی کنید، چون این مشکل می‌تونه منجر به افت شدید رتبه و ترافیک بشه.

ابزار URL Inspection Tool

وقتی تصمیم گرفتید که محتوا و URLهای خودتون رو آپدیت کنید، می‌تونید از طریق ابزار URL Inspection Tool گوگل، درخواست ایندکس برای صفحات خاص رو ثبت کنید.

ابزار URL Inspection رو در سرچ کنسول باز کنید. URLی که می‌خواهید ایندکس بشه رو در نوار جستجوی بالای صفحه وارد کنید.

بعد روی دکمه «Request Indexing» کلیک کنید.

استفاده از این ابزار برای درخواست ایندکس تضمین نمی‌کنه که یک صفحه حتماً خزش و ایندکس بشه. این کار فقط یک سیگنال با اولویت بالا به گوگل می‌فرسته که شما می‌خواهید این صفحه خزش و ایندکس بشه.

سوالات متداول

خطای «Discovered – Currently Not Indexed» یعنی چه؟
این خطا نشون میده که گوگل URL صفحه شما رو شناسایی کرده، اما هنوز اون رو خزش یا ایندکس نکرده. این اتفاق ممکنه به دلیل فشار روی سرور سایت یا عوامل دیگه باشه.

چرا صفحه من پیدا شده ولی ایندکس نشده؟
این مشکل می‌تونه به دلیل کیفیت پایین محتوا، لینک‌سازی داخلی ناکافی یا محدودیت در بودجه خزش وب‌سایت شما رخ بده.

چطور خطای «Discovered – Currently Not Indexed» رو برطرف کنم؟
کیفیت محتوا رو بهبود بدید، لینک‌سازی داخلی رو تقویت کنید، بودجه خزش رو با بهینه‌سازی ساختار سایت بهینه کنید و هرگونه مشکل عملکردی سرور رو برطرف کنید.

فرآیند کشف (Discovery) یک صفحه وب چطور کار می‌کنه؟
کشف زمانی اتفاق میفته که ربات گوگل URL شما رو پیدا می‌کنه (عمدتاً از طریق لینک‌های موجود در صفحات دیگه). این کشف، خزش یا ایندکس شدن رو تضمین نمی‌کنه.

موتورهای جستجو از چه روش‌هایی برای ایندکس کردن صفحات استفاده می‌کنن؟
موتورهای جستجو از الگوریتم‌هایی استفاده می‌کنن که کیفیت محتوا، ارتباط موضوعی، اعتبار سایت و معیارهای تعامل کاربر رو ارزیابی می‌کنن تا در مورد ایندکس و رتبه‌بندی تصمیم بگیرن.

چرا این “کشف شدن” مهمه؟
کشف شدن مرحله‌ای حیاتی و پیش‌نیاز ایندکس شدنه و روی دیده شدن صفحه و پتانسیل رتبه‌بندی اون در نتایج جستجو تاثیر مستقیم داره.

محدودیت‌های رایج در فرآیند ایندکس چیست؟
این محدودیت‌ها شامل محتوای تکراری، ساختار ضعیف سایت، فشار زیاد روی سرور و لینک‌سازی داخلی ناکافی میشن.

درک مشکلات ایندکس چه کاربردهای بالقوه‌ای داره؟
شناسایی مشکلات ایندکس می‌تونه به بهبود عملکرد وب‌سایت، افزایش تعامل کاربر و در نتیجه افزایش ترافیک و نرخ تبدیل منجر بشه.

جمع‌بندی نهایی

URLهایی که با خطای «Discovered – currently not indexed» مواجه میشن، به دلیل مشکلات مربوط به کیفیت سایت، لینک‌سازی داخلی و بودجه خزش به وجود میان.

این نکات کلیدی به شما کمک می‌کنه تا صفحاتتون خزش و ایندکس بشن:

• کیفیت و منحصر به فرد بودن صفحات مشکل‌دار رو بررسی کنید.
• از لینک‌های داخلی، به خصوص برای صفحات حیاتی، استفاده کنید.
• با استفاده از robots.txt جلوی خزش صفحات بی‌کیفیت رو توسط ربات گوگل بگیرید.
• یک استراتژی ایندکس داشته باشید که روی مهم‌ترین صفحات تمرکز کنه.
• بودجه خزش خودتون رو بهینه کنید تا گوگل منابع بیشتری برای خزش این صفحات داشته باشه.

آیا با خطای «Crawled – currently not indexed» هم درگیر هستید؟ در راهنمای بعدی ما یاد می‌گیرید که چطور این صفحات رو هم ایندکس کنید.