چطور دسترسی، کنترل و دیده شدند در جستجوی هوش مصنوعی رو متعادل کنیم؟
کراول کردن (خزیدن) همیشه روی دیده شدن شما تاثیرگذار بوده؛ اما جستجوی هوش مصنوعی بازی رو جدی‌تر کرده. یاد بگیرید چطور بدون اینکه کنترل رو از دست بدید، همچنان دیده بشید.
برای ۲۰ سال، اکثر متخصصای سئو فقط به گوگل‌بات (Googlebot) اهمیت می‌دادن.
اما توی چند سال اخیر، یه عالمه خزنده (crawler) جدید از پلتفرم‌های ایندکسینگ (indexing) مختلف مثل ChatGPT، Perplexity و بقیه سر و کله‌شون پیدا شده.
این خزنده‌ها اهداف خیلی گسترده‌تری دارن.
اونا فقط اولین قدم برای ایندکس شدن محتوا نیستن.
این خزنده‌ها می‌تونن محتوای شما رو برای آموزش مدل‌های خودشون بردارن یا برای کاری به اسم «تولید مبتنی بر بازیابی اطلاعات» (RAG) از یه URL خاص استفاده کنن.
اینجا یه سوال پیش میاد: آیا باید به همه این ربات‌ها اجازه بدیم سایتمون رو کراول کنن؟
اگه مخاطبای شما از DeepSeek یا You.com استفاده نکنن چی؟ هزینه کراول شدن و از دست دادن کنترل روی نحوه نمایش محتواتون، چه فایده‌ای براتون داره؟
هیچ جواب «درست» و قطعی‌ای برای این سوال وجود نداره، اما یه چارچوب مشخص برای تصمیم‌گیری هست.
محتواتون رو براشون لقمه کنید!
اجازه دادن به اکثر خزنده‌های هوش مصنوعی برای دسترسی به بخش زیادی از محتواتون، در نهایت به نفع شماست.
اما، هر محتوای واقعاً منحصربه‌فرد و باارزشی (که جزو مالکیت فکری شما حساب میشه) باید پشت دیوار پرداخت (paywall) یا صفحه ورود (login) محافظت بشه تا ارزشش حفظ بشه.
این یعنی برای بیشتر محتواهاتون، باید فعالانه برای خزنده‌های هوش مصنوعی بهینه‌سازی کنید؛ یعنی محتوا رو غنی‌سازی و «تکه‌تکه» (chunking) کنید تا بتونید دیده بشید.
این رو هم در نظر داشته باشید که اکثر وب‌سایت‌ها توی سال‌های آینده با افت ترافیک مواجه میشن.
اما اگه ترافیک مربوط به هوش مصنوعی رو توی گوگل آنالیتیکس ۴ (GA4) فیلتر کرده باشید، احتمالاً تا الان متوجه شدید که ترافیک باقی‌مونده اغلب کیفیت خیلی بالاتری داره، چون پلتفرم‌های هوش مصنوعی خیلی خوب نیت کاربر رو از قبل مشخص می‌کنن.
جدا از بحث ترافیک، پلتفرم‌های هوش مصنوعی نقش پررنگ‌تری توی ساختن آگاهی از برند (brand salience) هم دارن.
اشاره‌های برجسته به برند شما، مخصوصاً توی ۳ نتیجه اول حالت هوش مصنوعی (AI Mode) یا منشن شدن توی پاراگراف‌های ChatGPT، روی تصور مردم از شما تاثیر می‌ذاره.
بهینه‌سازی برای پلتفرم‌های هوش مصنوعی، برای خیلی از کسب‌وکارها، مسیر جدیدی برای دیده شدنه.
پلتفرم‌های هوش مصنوعی، حکم صفحه دسته‌بندی رو پیدا می‌کنن
پلتفرم‌های هوش مصنوعی دارن روز به روز بیشتر به اولین نقطه تماس کاربر با شما توی سفر مشتری (user journey) تبدیل میشن، برای همین خیلی مهمه که برند شما از همون اول اونجا حضور داشته باشه.
اونا دارن مثل صفحه‌های دسته‌بندی (category pages) عمل می‌کنن:
- پیشنهادهای مختلف رو جمع‌آوری می‌کنن.
- رقبا رو با هم مقایسه می‌کنن.
- به «بهترین» گزینه‌ها لینک میدن.
در حال حاضر، توی موارد نادری (که البته انتظار دارم به مرور زمان خیلی بیشتر بشه)، کاربرا از طرف برند شما تبدیل (convert) میشن. اما نکته مهم اینه که برای نهایی کردن خرید یا دریافت خدمات، هنوز به خود برند شما وابسته‌ان.
این چیز جدیدی نیست. آمازون و بقیه مارکت‌پلیس‌ها (marketplace) سال‌هاست که همین‌طوری کار می‌کنن.
و درست مثل اون پلتفرم‌ها، توی دنیای هوش مصنوعی هم، هدف این نیست که صاحب تمام نقاط تماس با مشتری باشید. هدف اینه که آگاهی از برندتون رو بالا ببرید.
یه تجربه عالی برای مشتری رقم بزنید و محصول یا خدمات باکیفیتی ارائه بدید.
تا دفعه بعدی که کاربر قصد خرید داشت، مستقیم سراغ خودتون بیاد و جستجوی هوش مصنوعی رو کلاً دور بزنه.
اینجوریه که می‌تونید سهم بازار رو به دست بیارید.
اگه سایت شما یک تجمیع‌کننده (aggregator) باشه چی؟
تکلیف وب‌سایت‌هایی که محتوا رو از کسب‌وکارهای کوچیک‌تر جمع‌آوری می‌کنن چی میشه؟ – مثل پورتال‌های املاک، سایت‌های کاریابی یا مارکت‌پلیس‌های خدماتی.
آیا اونا باید نگران باشن که سیستم‌های هوش مصنوعی ممکنه به کل دورشون بزنن؟
من که اینطور فکر نمی‌کنم.
واقعیت اینه که حتی با وجود سیستم‌های مدیریت محتوای مدرن، کسب‌وکارهای کوچیک و متوسط اغلب برای نگهداری یه وب‌سایت ساده هم به چالش می‌خورن، چه برسه به اینکه بخوان با پیچیدگی‌های توزیع محتوا توی پلتفرم‌های هوش مصنوعی سر و کله بزنن.
من دنیایی رو تصور نمی‌کنم که هزاران وب‌سایت کوچیک توی صنایع مختلف، همه‌شون به طور موثر توسط پلتفرم‌های هوش مصنوعی جمع‌آوری بشن.
اینجاست که تجمیع‌کننده‌های قابل اعتماد هنوز نقش اساسی دارن.
اونا فیلتر می‌کنن، بررسی می‌کنن و استانداردسازی می‌کنن. سیستم‌های هوش مصنوعی به این نیاز دارن.
تجمیع‌کننده‌هایی که چیزی فراتر از یه لیست ساده ارائه میدن – مثلاً داده‌های تایید شده از نظرات کاربران – در برابر حذف شدن توسط هوش مصنوعی مقاوم‌تر هم خواهند بود.
با این حال، سیستم‌های هوش مصنوعی همچنان به برندهای بزرگ و معتبر که دیده میشن، لطف بیشتری خواهند داشت.
ریسک اصلی و حیاتی برای رسانه‌هاییه که درآمدشون از بازدید صفحه است.
ترافیک محتواهای عمومی و دم‌دستی داره از بین میره، چون جواب‌ها مستقیم توی خود پلتفرم‌های هوش مصنوعی داده میشن.
برای ناشرها، یا هر کسی که محتوای مقاله‌ای تولید می‌کنه، راه‌حل این نیست که هوش مصنوعی رو به کل مسدود کنن. راه‌حل، تکامله.
- استراتژی‌های سردبیری هوشمندانه‌تری رو در پیش بگیرید.
- جریان‌های درآمدی‌تون رو متنوع کنید.
- روی گرفتن منشن‌های برجسته تمرکز کنید.
- سهم خودتون رو از گفتگوها (share of voice) به دست بیارید – نه اینکه فقط دنبال ترافیک باشید.
چون اگه کراول شدن توسط هوش مصنوعی رو به طور کامل مسدود کنید، دارید دیده شدن رو به رقیبتون واگذار می‌کنید.
تنها استثنا؟ اگه محتوای غیرقابل تکرار دارید، مثل:
- تحقیقات خیلی تخصصی.
- مشاوره‌های تخصصی و منحصربه‌فرد.
- محتوای ارزشمند تولید شده توسط کاربر (UGC)، مثل تعداد زیادی نظر و রিভিউ.
توی چنین مواردی، لازم نیست صفر و صدی عمل کنید – می‌تونید به کراول جزئی فکر کنید.
یه کوچولو از محتوا رو به ربات‌ها نشون بدید تا منشن بگیرید، اما نذارید کل سفره رو بردارن!
اینطوری برند شما هم رقابتی باقی می‌مونه و هم مزیت منحصربه‌فردتون حفظ میشه.
حالا اگه قبول داریم که هدف فقط اجازه دادن به کراول هوش مصنوعی نیست، بلکه تشویق فعالانه اونه، سوال بعدی اینه: چطور از دیدگاه سئو برای این کار بهینه‌سازی کنیم؟
چطور برای «تکه‌تکه شدن» (Chunking) بهینه‌سازی کنیم؟
بهینه‌سازی برای گوگل‌بات دیگه کافی نیست.
شما الان باید هوای یه عالمه خزنده مختلف رو داشته باشید که همه‌شون هم قابلیت‌های یکسانی ندارن.
علاوه بر این، ایندکسینگ دیگه در سطح URL انجام نمیشه.
محتوا به اجزای مهمی شکسته میشه و توی یه پایگاه داده وکتوری (vector database) ذخیره میشه.
هر بخش از محتواتون رو به عنوان یه اسنیپت (snippet) مستقل در نظر بگیرید. و برای گرفتن منشن از هوش مصنوعی این کارها رو بکنید:
- هر پاراگراف فقط یک ایده مستقل داشته باشه.
- پاراگراف‌ها بین ۱ تا ۴ جمله باشن.
- از زیرعنوان‌های واضح با تگ‌های H2 یا H3 استفاده کنید.
- از نام‌های صحیح برای موجودیت‌ها (entity) استفاده کنید.
- امتیاز خوانایی Flesch بالایی داشته باشید؛ یعنی وضوح رو به هوشمندانه نوشتن ترجیح بدید.
- از HTML ساختاریافته، در دسترس و معنایی (semantic) استفاده کنید.
- چندرسانه‌ای فکر کنید؛ یعنی مطمئن بشید که تصاویر و ویدیوها قابل کراول شدن هستن.
- وابستگی به جاوا اسکریپت نداشته باشید، چون همه خزنده‌ها نمی‌تونن پردازشش کنن.
- از اطلاعات دقیق و به‌روز استفاده کنید.
اگه خزنده‌های هوش مصنوعی نتونن به محتوای شما دسترسی پیدا کنن و بفهمنش، بهش ارجاع هم نمیدن.
عضو خبرنامه‌ای بشید که حرفه‌ای‌های سئو روش حساب می‌کنن.
لازم نیست با LLMs.txt به ربات‌ها لقمه آماده بدید
با وجود همه سر و صداها، llms.txt یه استاندارد رسمی نیست، زیاد استفاده نمیشه و هیچ پلتفرم هوش مصنوعی بزرگی بهش احترام نمی‌ذاره.
این یعنی این فایل احتمالاً به طور پیش‌فرض بررسی نمیشه و در نتیجه، خیلی از سایت‌ها ممکنه فعالیت کراول کمی رو تجربه کنن.
ممکنه این وضعیت تغییر کنه؟ شاید.
اما تا وقتی که به طور رسمی پذیرفته نشده، وقتتون رو برای پیاده‌سازی فایلی که ربات‌ها چک نمی‌کنن هدر ندید.
بهبودهای دیگه سئو تکنیکال، مثل استفاده از داده‌های ساختاریافته مبتنی بر گراف (graph-based structured data) و افزایش سرعت کراول، احتمال خیلی بیشتری داره که تاثیر مثبت روی دیده شدن شما توی پلتفرم‌های هوش مصنوعی بذاره.
روی چیزهایی تمرکز کنید که همین الان برای دیده شدن در دنیای هوش مصنوعی مهمه، نه روی یه آینده فرضی که احتمالاً هیچ‌وقت اتفاق نمیفته.
چطور سرعت کراول رو بالا ببریم؟
خیلی از تکنیک‌ها که برای جستجوی سنتی به کار می‌رفت، برای ربات‌های هوش مصنوعی هم جواب میده:
- پاسخ سریع و سالم سرور برای همه ربات‌ها (حداکثر زیر ۶۰۰ میلی‌ثانیه، و در حالت ایده‌آل نزدیک به ۳۰۰).
- برای کراول بهینه، به جای تکیه بر rel=canonical و راهنماهای این‌چنینی، یه ساختار URL تمیز و واضح داشته باشید. اگه این کار ممکن نیست، مسیرهایی که ارزش سئویی ندارن رو با robots.txt مسدود کنید.
- صفحه‌بندی (pagination) رو به درستی مدیریت کنید.
- نقشه سایت XML رو به صورت لحظه‌ای در گوگل سرچ کنسول (برای Gemini) و بینگ وبمستر تولز (برای ChatGPT و Copilot) ثبت کنید.
- هر جا که ممکنه، از Indexing API ها برای ثبت محتوای جدید استفاده کنید.
این اصول اولیه توی دنیای هوش مصنوعی اهمیت بیشتری پیدا می‌کنن، چون می‌بینیم که گوگل داره فعالانه ایندکس خودش رو پاکسازی می‌کنه.
حدس می‌زنم که رد کردن تعداد زیادی از URLهای ایندکس شده قبلی، کیفیت محتوای قابل استفاده برای RAG رو بهتر می‌کنه.
با این حال، برای اندازه‌گیری کراول باید از داده‌های دم‌دستی مثل گزارش crawl stats توی گوگل سرچ کنسول فراتر بریم.
و بیشتر روی فایل‌های لاگ (log files) تمرکز کنیم که گزارش‌های واضح‌تری در مورد انواع مختلف خزنده‌های هوش مصنوعی به ما میدن.
شبکه‌های توزیع محتوا (CDN) مثل کلودفلر (Cloudflare) و ابزارهای ردیابی دیده شدن در هوش مصنوعی، دارن گزارش‌های خوبی ارائه میدن که دسترسی به این اطلاعات رو از همیشه راحت‌تر کرده.
ارزش کراول، فراتر از ایندکس کردن وب‌سایته
با اینکه گوگل‌بات، بینگ‌بات و پلتفرم‌های هوش مصنوعی بیشترین توجه رو به خودشون جلب می‌کنن، خزنده‌های ابزارهای سئو هم به شدت خیلی از وب‌سایت‌ها رو کراول می‌کنن.
قبل از اینکه سیستم‌های هوش مصنوعی اینقدر مهم بشن، من اکثرشون رو از طریق .htaccess مسدود می‌کردم. چون در ازای اطلاعاتی که از رقبا لو می‌دادن، ارزش کمی برای من داشتن.
اما الان نظرم عوض شده. بهشون اجازه میدم چون به دیده شدن برند توی محتوای تولید شده توسط هوش مصنوعی کمک می‌کنن.
اینکه من ادعا کنم وب‌سایتم محبوبه یه چیزه، اما وقتی ChatGPT یا Gemini این حرف رو بزنن، اونم با استناد به داده‌های ترافیک سمراش (Semrush)، یه چیز دیگه‌ست و تاثیرش خیلی بیشتره.
سیستم‌های هوش مصنوعی به اجماع علاقه دارن. هرچقدر سیگنال‌های همسوتری رو تشخیص بدن، احتمال اینکه پیام شما رو تکرار کنن بیشتر میشه.
اجازه دادن به خزنده‌های سئو برای تایید جایگاه شما در بازار، قرار گرفتن در سایت‌های مقایسه و لیست شدن در دایرکتوری‌ها، همگی به تقویت داستان شما کمک می‌کنه – البته به شرطی که واقعاً ارزش واقعی ارائه بدید.
توی عصر هوش مصنوعی، دیگه بحث لینک‌سازی نیست، بلکه مدیریت ارجاعات (citation management) مهمه. یعنی باید محتوای قابل کراول در سایت‌های دیگه داشته باشید که برندینگ شما رو با ارجاعات خارجی تایید کنه.
این کار به حرف شما اعتبار میده. اعتماد می‌سازه.
کراول کردن دیگه فقط برای ایندکس شدن وب‌سایت نیست. بلکه به مدیریت برند دیجیتال ربط داره.
پس بذارید ربات‌ها کراول کنن. بهشون تکه‌های ساختاریافته، مفید و باکیفیت بدید.
دیده شدن در جستجوی هوش مصنوعی فقط بحث ترافیک نیست. بلکه بحث اعتماد، جایگاه‌یابی و آگاهی از برنده.
پاسخی بگذارید