یک مطالعه نشون میده که کراولرهای هوش مصنوعی دارن جای خودشون رو در کنار موتورهای جستجوی سنتی باز می‌کنن و این موضوع داره نحوه بهینه‌سازی محتوای وب‌سایت‌ها رو تغییر میده.
خلاصه مطلب:
- ربات‌های هوش مصنوعی دارن به بازیگران اصلی در خزش وب تبدیل میشن
- وب‌سایت‌ها باید استراتژی‌های جدیدی برای بهینه‌سازی ربات‌های هوش مصنوعی در پیش بگیرن
- آینده سئو باید هم موتورهای جستجو و هم ربات‌های هوش مصنوعی رو در نظر بگیره
گزارشی که توسط Vercel منتشر شده، تاثیر روزافزون ربات‌های هوش مصنوعی در خزش وب رو نشون میده.
GPTBot از OpenAI و Claude از Anthropic ماهانه نزدیک به ۱ میلیارد درخواست در شبکه Vercel ایجاد می‌کنن.
داده‌ها نشون میده که GPTBot در ماه گذشته ۵۶۹ میلیون درخواست داشته، در حالی که Claude مسئول ۳۷۰ میلیون درخواست بوده.
علاوه بر این، PerplexityBot با ۲۴.۴ میلیون بازدید و AppleBot با ۳۱۴ میلیون درخواست به این آمار اضافه شدن.
در مجموع، این کراولرهای هوش مصنوعی حدود ۲۸٪ از حجم کل Googlebot رو تشکیل میدن که معادل ۴.۵ میلیارد بازدید هست.
بذارید ببینیم این موضوع چه تاثیری روی سئو می‌تونه داشته باشه.
یافته‌های کلیدی درباره کراولرهای هوش مصنوعی
این تحلیل که الگوهای ترافیکی در شبکه Vercel و معماری‌های مختلف وب رو بررسی کرده، چند ویژگی مهم کراولرهای هوش مصنوعی رو پیدا کرده:
- کراولرهای اصلی هوش مصنوعی جاوااسکریپت رو اجرا نمی‌کنن، هرچند فایل‌های جاوااسکریپت رو دریافت می‌کنن
- کراولرهای هوش مصنوعی اغلب ناکارآمد هستن، به طوری که ChatGPT و Claude بیش از ۳۴٪ از درخواست‌هاشون رو روی صفحات ۴۰۴ صرف می‌کنن
- نوع محتوایی که این کراولرها روش تمرکز می‌کنن متفاوته. ChatGPT اولویتش HTML هست (۵۷.۷٪)، در حالی که Claude بیشتر روی تصاویر تمرکز داره (۳۵.۱۷٪)
توزیع جغرافیایی
برخلاف موتورهای جستجوی سنتی که از مناطق مختلف فعالیت می‌کنن، کراولرهای هوش مصنوعی فعلاً حضور متمرکزی در آمریکا دارن:
- ChatGPT از دِس موینز (آیووا) و فینیکس (آریزونا) فعالیت می‌کنه
- Claude از کلمبوس (اوهایو) فعال هست
ارتباط با Web Almanac
این یافته‌ها با داده‌هایی که در فصل سئوی Web Almanac منتشر شده همخونی داره که اون هم به حضور رو به رشد کراولرهای هوش مصنوعی اشاره می‌کنه.
طبق این گزارش، وب‌سایت‌ها الان از فایل‌های robots.txt برای تعیین قوانین ربات‌های هوش مصنوعی استفاده می‌کنن و بهشون میگن چه چیزی رو می‌تونن یا نمی‌تونن بخزن.
GPTBot پرتکرارترین ربات هست که در ۲.۷٪ از سایت‌های موبایلی مورد مطالعه دیده شده. ربات Common Crawl که معمولاً برای جمع‌آوری داده‌های آموزشی مدل‌های زبانی استفاده میشه هم خیلی اسمش میاد.
هر دو گزارش تاکید می‌کنن که صاحبان وب‌سایت‌ها باید خودشون رو با رفتار کراولرهای هوش مصنوعی تطبیق بدن.
۳ روش برای بهینه‌سازی برای کراولرهای هوش مصنوعی
بر اساس داده‌های اخیر از Vercel و Web Almanac، اینجا سه روش برای بهینه‌سازی برای کراولرهای هوش مصنوعی رو می‌بینیم.
۱. رندر سمت سرور
کراولرهای هوش مصنوعی جاوااسکریپت رو اجرا نمی‌کنن. این یعنی هر محتوایی که به رندر سمت کلاینت وابسته باشه ممکنه براشون نامرئی باشه.
اقدامات پیشنهادی:
- پیاده‌سازی رندر سمت سرور برای محتوای مهم
- اطمینان از اینکه محتوای اصلی، متادیتا و ساختارهای ناوبری در HTML اولیه موجود باشن
- استفاده از تولید سایت استاتیک یا تولید استاتیک تدریجی در صورت امکان
۲. ساختار و تحویل محتوا
داده‌های Vercel نشون میده که کراولرهای هوش مصنوعی مختلف ترجیحات متفاوتی برای نوع محتوا دارن:
ChatGPT:
– اولویت با محتوای HTML هست (۵۷.۷۰٪)
– ۱۱.۵۰٪ از بازدیدها رو صرف فایل‌های جاوااسکریپت می‌کنه
Claude:
– تمرکز زیادی روی تصاویر داره (۳۵.۱۷٪)
– ۲۳.۸۴٪ از بازدیدها رو به فایل‌های جاوااسکریپت اختصاص میده
توصیه‌های بهینه‌سازی:
- ساختاربندی واضح و معنایی محتوای HTML
- بهینه‌سازی تحویل تصاویر و متادیتا
- استفاده از متن جایگزین توصیفی برای تصاویر
- پیاده‌سازی سلسله مراتب درست هدرها
۳. ملاحظات فنی
نرخ بالای خطای ۴۰۴ از کراولرهای هوش مصنوعی یعنی باید این ملاحظات فنی رو همیشه مد نظر داشته باشید:
- نگهداری نقشه‌های سایت به‌روز
- پیاده‌سازی زنجیره‌های ریدایرکت مناسب
- استفاده از الگوهای URL ثابت
- بررسی منظم خطاهای ۴۰۴
نگاه به آینده
برای متخصصان سئو، پیام واضحه: چت‌بات‌های هوش مصنوعی یه نیروی جدید در خزش وب هستن و سایت‌ها باید سئوشون رو متناسب با این موضوع تطبیق بدن.
اگرچه ربات‌های هوش مصنوعی ممکنه الان به اطلاعات کش شده یا قدیمی تکیه کنن، اما ظرفیتشون برای تجزیه و تحلیل محتوای تازه از سرتاسر وب رو به افزایشه.
شما می‌تونید با استفاده از رندر سمت سرور، ساختارهای URL تمیز و نقشه‌های سایت به‌روز، کمک کنید تا محتواتون خزیده و ایندکس بشه.
