وقتی دستیارهای هوش مصنوعی و موتورهای جستجو اختلاف نظر دارند: چگونه بسنجیم؟

یک چارچوب ریاضی برای دیجیتال مارکترها: چطور نقاط مشترک دستیارهای هوش مصنوعی و جستجوی سنتی را پیدا کنیم؟

قبل از اینکه شروع کنیم، باید یه هشداری بهتون بدم: این مقاله یکم ریاضیات داره! اگه سر و کله زدن با عدد و فرمول سرگیجه بهتون میده، یا دلتون می‌خواد بشینید و یه کیک کامل رو یک‌جا بخورید، خودتون رو آماده کنید (یا یه کیک بذارید بغل دستتون). اما اگه عاشق ریاضی هستید، از فرمول‌ها لذت می‌برید و واقعاً باورتون میشه که k=N (که نشون میده چقدر این کارها رو دوست دارید!)، پس شک نکنید که این مقاله حسابی به وجدتون میاره، چون قراره عمیق‌تر به دنیای جستجوی هیبریدی سرک بکشیم.

برای سال‌ها (شاید چند دهه)، سئو توی یه حلقه بازخورد ساده خلاصه می‌شد. ما بهینه‌سازی می‌کردیم، رتبه می‌گرفتیم و همه‌چیز رو رصد می‌کردیم. همه چیز منطقی به نظر می‌رسید چون گوگل خودش табло امتیازات رو بهمون نشون می‌داد. (البته دارم خیلی ساده‌اش می‌کنم، ولی اصل مطلب رو گرفتید.)

حالا، دستیارهای هوش مصنوعی یه لایه بالاتر از این داستان قرار گرفتن. اون‌ها قبل از اینکه حتی کلیکی اتفاق بیفته، محتوا رو خلاصه می‌کنن، به منابع استناد می‌کنن و به سوالات جواب می‌دن. محتوای شما ممکنه نمایش داده بشه، بازنویسی بشه یا اصلاً نادیده گرفته بشه، و هیچ‌کدوم از این اتفاق‌ها توی ابزارهای آنالیتیکس شما ثبت نمیشه.

این به معنی از رده خارج شدن سئو نیست. بلکه یعنی یه نوع جدیدی از «دیده شدن» به موازات سئوی سنتی شکل گرفته. این مقاله بهتون ایده‌هایی میده که چطور این دیده شدن جدید رو بدون نیاز به کدنویسی، دسترسی خاص یا کمک گرفتن از یه برنامه‌نویس اندازه‌گیری کنید و چطور روی چیزهایی که واقعاً ازشون خبر داریم، متمرکز بمونیم.

چرا این موضوع مهمه؟

موتورهای جستجو هنوز هم تقریباً تمام ترافیک قابل اندازه‌گیری وب‌سایت‌ها رو تامین می‌کنن. خود گوگل به تنهایی روزانه نزدیک به ۴ میلیارد جستجو رو مدیریت می‌کنه. در مقایسه، حجم کل جستجوهای سالانه Perplexity حدود ۱۰ میلیارد گزارش شده.

پس بله، دستیارهای هوش مصنوعی در مقایسه هنوز خیلی کوچیک هستن. اما دارن نحوه تفسیر اطلاعات رو شکل می‌دن. همین الان هم می‌تونید این رو ببینید؛ وقتی ChatGPT Search یا Perplexity به یه سوال جواب می‌دن و به منابعشون لینک می‌دن. این استنادها نشون می‌دن که مدل‌های هوش مصنوعی در حال حاضر به کدوم بخش‌های محتوایی (که بهشون چانک یا chunk هم میگن) و به کدوم دامنه‌ها اعتماد دارن.

چالش اصلی اینجاست که ما مارکترها هیچ داشبورد اختصاصی برای اینکه ببینیم این اتفاق چقدر میفته، نداریم. گوگل اخیراً داده‌های عملکردی حالت هوش مصنوعی (AI Mode) رو به سرچ کنسول اضافه کرده. طبق مستندات خود گوگل، حالا ایمپرشن‌ها، کلیک‌ها و جایگاه‌های AI Mode هم جزو آمار کلی نوع جستجوی «وب» (Web) محاسبه می‌شن.

اینکه این آمار اضافه شده مهمه، اما مشکل اینجاست که با بقیه آمارها قاطی شده. در حال حاضر هیچ راهی برای جدا کردن ترافیک AI Mode وجود نداره. داده‌ها اونجا هستن، ولی توی یه سطل بزرگ‌تر ریخته شدن. نه درصدی مشخصه، نه نمودار روندی وجود داره. حداقل فعلاً نه.

تا وقتی که شفافیت این آمارها بیشتر بشه، پیشنهاد من اینه که از یه «تست جایگزین» استفاده کنیم تا بفهمیم دستیارهای هوش مصنوعی و جستجوی سنتی کجاها با هم اتفاق نظر دارن و کجاها از هم جدا می‌شن.

دو سیستم بازیابی اطلاعات، دو راه برای پیدا شدن

موتورهای جستجوی سنتی از «بازیابی واژگانی» (Lexical Retrieval) استفاده می‌کنن؛ یعنی کلمات و عبارات رو مستقیماً با هم تطبیق می‌دن. الگوریتم غالب در این زمینه، یعنی BM25، سال‌هاست که موتور محرک سیستم‌هایی مثل Elasticsearch و موارد مشابه بوده و امروزه هم در موتورهای جستجوی رایج استفاده می‌شه.

دستیارهای هوش مصنوعی به «بازیابی معنایی» (Semantic Retrieval) تکیه دارن. اون‌ها به جای کلمات دقیق، معنا رو از طریق اِمبدینگ‌ها (embeddings)، یعنی همون اثر انگشت‌های ریاضیاتی متن، پیدا می‌کنن. این قابلیت بهشون اجازه می‌ده تا بخش‌های مفهومی مرتبط رو پیدا کنن، حتی اگه کلمات دقیقاً یکی نباشن.

هر کدوم از این سیستم‌ها خطاهای خاص خودشون رو دارن. بازیابی واژگانی ممکنه مترادف‌ها رو از دست بده. بازیابی معنایی هم ممکنه ایده‌های نامرتبط رو به هم وصل کنه. اما وقتی این دو با هم ترکیب می‌شن، نتایج بهتری تولید می‌کنن.

توی اکثر سیستم‌های بازیابی هیبریدی، این دو روش با استفاده از قانونی به نام ترکیب رتبه معکوس (Reciprocal Rank Fusion یا RRF) با هم ادغام می‌شن. لازم نیست بتونید این روش رو اجرا کنید، اما درک مفهومش بهتون کمک می‌کنه تا چیزهایی که بعداً اندازه‌گیری می‌کنید رو بهتر تفسیر کنید.

RRF به زبان ساده

بازیابی هیبریدی، چند تا لیست رتبه‌بندی شده رو با هم ترکیب می‌کنه و به یه لیست متعادل و واحد می‌رسه. ریاضیاتی که پشت این ترکیب قرار داره، همون RRF هست.

فرمولش ساده‌ است: امتیاز مساوی است با یک تقسیم بر (k + رتبه). به صورت ریاضی میشه: ۱ ÷ (k + رتبه). اگه یه آیتم در چند لیست مختلف ظاهر بشه، امتیازهاش رو با هم جمع می‌کنید.

اینجا «رتبه» یعنی جایگاه اون آیتم در لیست، که از ۱ (بالاترین جایگاه) شروع می‌شه. «k» هم یه عدد ثابته که برای ملایم‌تر کردن تفاوت بین آیتم‌های رتبه بالا و آیتم‌های میانی استفاده می‌شه. بیشتر سیستم‌ها معمولاً از عددی نزدیک به ۶۰ استفاده می‌کنن، اما هر سیستمی ممکنه این عدد رو به شکل متفاوتی تنظیم کنه.

یادتون باشه که یه مدل وکتور، نتایج رو بر اساس شمارش کلمات مشابه رتبه‌بندی نمی‌کنه. بلکه اندازه‌گیری می‌کنه که اِمبدینگ هر سند چقدر به اِمبدینگ کوئری شما در یک فضای چند بعدی نزدیکه. بعد سیستم این امتیازات شباهت رو از بیشترین به کمترین مرتب می‌کنه و در عمل یه لیست رتبه‌بندی شده می‌سازه. ظاهرش شبیه رتبه‌بندی موتور جستجوئه، اما با ریاضیات فاصله کار می‌کنه، نه فرکانس کلمات.

بیایید با چند تا عدد کوچیک و دو تا لیست رتبه‌بندی شده، این موضوع رو ملموس‌تر کنیم. یه لیست از الگوریتم BM25 (بر اساس ارتباط کلمات کلیدی) و یه لیست از مدل وکتور (بر اساس ارتباط معنایی). برای سادگی، k رو برابر با ۱۰ در نظر می‌گیریم.

سند A در لیست BM25 رتبه ۱ و در لیست وکتور رتبه ۳ رو داره.
امتیاز از BM25: ۱ ÷ (۱۰ + ۱) = ۱ ÷ ۱۱ = ۰.۰۹۰۹
امتیاز از لیست وکتور: ۱ ÷ (۱۰ + ۳) = ۱ ÷ ۱۳ = ۰.۰۷۶۹
جمع امتیازها: ۰.۰۹۰۹ + ۰.۰۷۶۹ = ۰.۱۶۷۸

سند B در لیست BM25 رتبه ۲ و در لیست وکتور رتبه ۱ رو داره.
امتیاز از BM25: ۱ ÷ (۱۰ + ۲) = ۱ ÷ ۱۲ = ۰.۰۸۳۳
امتیاز از لیست وکتور: ۱ ÷ (۱۰ + ۱) = ۱ ÷ ۱۱ = ۰.۰۹۰۹
جمع امتیازها: ۰.۰۸۳۳ + ۰.۰۹۰۹ = ۰.۱۷۴۲

سند C در لیست BM25 رتبه ۳ و در لیست وکتور رتبه ۲ رو داره.
امتیاز از BM25: ۱ ÷ (۱۰ + ۳) = ۱ ÷ ۱۳ = ۰.۰۷۶۹
امتیاز از لیست وکتور: ۱ ÷ (۱۰ + ۲) = ۱ ÷ ۱۲ = ۰.۰۸۳۳
جمع امتیازها: ۰.۰۷۶۹ + ۰.۰۸۳۳ = ۰.۱۶۰۲

اینجا سند B برنده می‌شه چون در هر دو لیست رتبه بالایی داره. اگه مقدار k رو به ۶۰ افزایش بدید، تفاوت‌ها کمتر می‌شن و ترکیب نهایی، نرم‌تر و با تمرکز کمتری روی رتبه‌های اول درمیاد.

این مثال صرفاً برای روشن شدن موضوع بود. هر پلتفرمی پارامترها رو به شکل متفاوتی تنظیم می‌کنه و هیچ مستندات عمومی وجود نداره که تایید کنه هر موتور جستجو از چه مقداری برای k استفاده می‌کنه. این مثال رو فقط به عنوان یه تشبیه در نظر بگیرید تا بفهمید چطور سیگنال‌های مختلف با هم ترکیب و میانگین‌گیری می‌شن.

این ریاضیات در عمل کجا استفاده می‌شه؟

شما هیچ‌وقت قرار نیست خودتون RRF رو کدنویسی کنید، چون این روش уже بخشی از پلتفرم‌های جستجوی مدرنه. در ادامه چند مثال از این نوع سیستم‌ها رو از ارائه‌دهندگان اصلی‌شون می‌بینید. اگه این‌ها رو مطالعه کنید، درک عمیق‌تری از نحوه کار پلتفرم‌هایی مثل Perplexity پیدا می‌کنید:

• رتبه‌بندی هیبریدی در Azure AI Search
• نگاهی کلی به جستجوی هیبریدی در Elastic
• آموزش جستجوی هیبریدی در Vespa
• راهنمای جستجوی هیبریدی در OpenSearch

همه این‌ها از یه فرآیند اصلی و مشابه پیروی می‌کنن: بازیابی با BM25، بازیابی با وکتورها، امتیازدهی با RRF و در نهایت ادغام نتایج. ریاضیاتی که بالاتر توضیح دادیم، مفهوم کلی رو نشون می‌ده، نه فرمول دقیقی که داخل هر کدوم از این محصولات استفاده می‌شه.

مشاهده بازیابی هیبریدی در دنیای واقعی

ما مارکترها نمی‌تونیم لیست‌های داخلی این سیستم‌ها رو ببینیم، اما می‌تونیم رفتار ظاهری‌شون رو مشاهده کنیم. فوت کوزه‌گری اینه که نتایج رتبه‌بندی شده گوگل رو با منابعی که یه دستیار هوش مصنوعی بهشون استناد می‌کنه، مقایسه کنیم و بعد هم‌پوشانی، تازگی و ثبات این نتایج رو اندازه بگیریم. این محاسبات خارجی، یه روش تجربی و یک معیار جایگزین برای سنجش دیده شدنه. این ریاضیات با اون چیزی که پلتفرم‌ها در داخل محاسبه می‌کنن، فرق داره.

مرحله ۱: جمع‌آوری داده‌ها

۱۰ تا کوئری که برای کسب‌وکار شما مهمن رو انتخاب کنید.

برای هر کوئری:

1. اون رو در جستجوی گوگل سرچ کنید و ۱۰ URL اول نتایج ارگانیک رو کپی کنید.
2. همون کوئری رو در یک دستیار هوش مصنوعی که منابعش رو نشون می‌ده (مثل Perplexity یا ChatGPT Search) وارد کنید و تمام URLها یا دامنه‌هایی که بهشون استناد کرده رو کپی کنید.

حالا برای هر کوئری دو تا لیست دارید: ۱۰ نتیجه برتر گوگل و منابع استناد شده توسط دستیار هوش مصنوعی.

(یادتون باشه که همه دستیارهای هوش مصنوعی منابع رو به طور کامل نشون نمی‌دن و هر کوئری هم لزوماً باعث نمایش استناد نمی‌شه. بعضی از دستیارها ممکنه فقط خلاصه ارائه بدن و هیچ منبعی ذکر نکنن. اگه این اتفاق افتاد، اون کوئری رو نادیده بگیرید چون با این روش قابل اندازه‌گیری نیست.)

مرحله ۲: شمردن سه چیز

1. اشتراک (I): تعداد URLها یا دامنه‌هایی که در هر دو لیست وجود دارن.
2. تازگی (N): تعداد منابع استناد شده توسط دستیار که در ۱۰ نتیجه برتر گوگل نیستن.
   مثلاً اگه دستیار ۶ منبع معرفی کرده و ۳ تاشون با نتایج گوگل مشترک باشن، N = 6 – 3 = 3 می‌شه.
3. تکرار (F): هر دامنه در مجموع ۱۰ کوئری شما، چند بار تکرار شده.

مرحله ۳: تبدیل شمارش‌ها به معیارهای سریع

برای هر مجموعه از کوئری‌ها:

نرخ دیده شدن مشترک (SVR) = I ÷ ۱۰
این معیار نشون می‌ده که چه بخشی از ۱۰ نتیجه برتر گوگل، در منابع دستیار هوش مصنوعی هم ظاهر شدن.

نرخ دیده شدن منحصر به فرد در دستیار (UAVR) = N ÷ تعداد کل منابع دستیار برای اون کوئری
این معیار نشون می‌ده که دستیار هوش مصنوعی چقدر محتوای جدید (خارج از نتایج گوگل) معرفی کرده.

تعداد تکرار استناد (RCC) = (مجموع F برای هر دامنه) ÷ تعداد کل کوئری‌ها
این معیار نشون می‌ده که یک دامنه چقدر به طور مداوم در پاسخ‌های مختلف مورد استناد قرار گرفته.

مثال:

۱۰ نتیجه برتر گوگل = ۱۰ URL. منابع دستیار = ۶. سه مورد هم مشترک هستن.
I = 3, N = 3, F (برای دامنه example.com) = ۴ (در چهار پاسخ دستیار ظاهر شده).
SVR = 3 ÷ 10 = 0.30
UAVR = 3 ÷ 6 = 0.50
RCC = 4 ÷ 10 = 0.40

حالا شما یه تصویر عددی از این دارید که دستیارهای هوش مصنوعی چقدر به نتایج جستجوی سنتی نزدیکن یا ازش فاصله می‌گیرن.

مرحله ۴: تفسیر نتایج

این امتیازها به هیچ وجه استانداردهای صنعتی نیستن و فقط به عنوان نقطه شروعی برای شما پیشنهاد می‌شن. هر طور که فکر می‌کنید لازمه، می‌تونید اون‌ها رو تغییر بدید:

• SVR بالا (بیشتر از ۰.۶) یعنی محتوای شما با هر دو سیستم هم‌راستا است. ارتباط واژگانی و معنایی شما با هم هماهنگن.
• SVR متوسط (بین ۰.۳ تا ۰.۶) به همراه RCC بالا نشون می‌ده که صفحات شما از نظر معنایی مورد اعتمادن، اما به نشانه‌گذاری (markup) واضح‌تر یا لینک‌سازی قوی‌تری نیاز دارن.
• SVR پایین (کمتر از ۰.۳) به همراه UAVR بالا نشون می‌ده که دستیارهای هوش مصنوعی به منابع دیگه‌ای اعتماد دارن. این معمولاً نشونه مشکلات ساختاری یا عدم شفافیت در محتوای شماست.
• RCC بالا برای رقبا یعنی مدل هوش مصنوعی به طور مکرر به دامنه‌های اون‌ها استناد می‌کنه. پس ارزش داره که ساختار اسکیما یا طراحی محتوای اون‌ها رو بررسی کنید.

مرحله ۵: اقدام کردن

اگه SVR پایینه، روی بهبود تیترها، شفافیت محتوا و قابلیت خزش (crawlability) کار کنید. اگه RCC برای برند شما پایینه، فیلدهای نویسنده، اسکیما و تاریخ انتشار محتوا رو استاندارد کنید. اگه UAVR بالاست، اون دامنه‌های جدید رو زیر نظر بگیرید، چون ممکنه از قبل در حوزه کاری شما اعتماد معنایی به دست آورده باشن.

(این روش همیشه دقیقاً طبق چیزی که توضیح داده شد کار نمی‌کنه. بعضی از دستیارها تعداد منابع رو محدود می‌کنن یا بسته به منطقه جغرافیایی نتایج متفاوتی نشون می‌دن. نتایج می‌تونن بر اساس جغرافیا و نوع کوئری متفاوت باشن. این رو به چشم یه تمرین مشاهداتی ببینید، نه یه چارچوب خشک و غیرقابل تغییر.)

چرا این محاسبات اهمیت دارن؟

این محاسبات به مارکترها راهی می‌ده تا میزان توافق و عدم توافق بین دو سیستم بازیابی اطلاعات رو به صورت کمی بیان کنن. این «ریاضیات تشخیصی» است، نه «ریاضیات رتبه‌بندی». به شما نمی‌گه که چرا دستیار هوش مصنوعی یه منبع خاص رو انتخاب کرده؛ فقط می‌گه که این کار رو کرده و چقدر این کار رو تکرار کرده.

این الگو، لبه‌ی قابل مشاهده‌ی منطق هیبریدی و نامرئی‌ایه که پشت صحنه در حال اجراست. مثل این می‌مونه که بخواید با نگاه کردن به حرکت درخت‌ها، وضعیت آب و هوا رو پیش‌بینی کنید. شما جو رو شبیه‌سازی نمی‌کنید، فقط دارید تاثیراتش رو می‌خونید.

اقدامات آن-پیج که به بازیابی هیبریدی کمک می‌کنه

وقتی ببینید که هم‌پوشانی و تازگی چطور عمل می‌کنن، قدم بعدی محکم کردن ساختار و شفافیت محتواست.

• محتوا رو در بلوک‌های کوتاه «ادعا و مدرک» در حدود ۲۰۰-۳۰۰ کلمه بنویسید.
• از تیترها، لیست‌های بولت‌پوینت و انکرهای پایدار و واضح استفاده کنید تا الگوریتم BM25 بتونه عبارات دقیق رو پیدا کنه.
• داده‌های ساختاریافته (اسکیماهای FAQ, HowTo, Product, TechArticle) اضافه کنید تا وکتورها و دستیارهای هوش مصنوعی، زمینه و کانتکست محتوا رو بهتر بفهمن.
• URLهای کنونیکال رو ثابت نگه دارید و تاریخ به‌روزرسانی محتوا رو مشخص کنید.
• برای موضوعات خیلی مهم و معتبر، نسخه‌های PDF کنونیکال منتشر کنید؛ دستیارهای هوش مصنوعی اغلب به فرمت‌های ثابت و قابل تایید زودتر استناد می‌کنن.

این قدم‌ها هم به خزنده‌های موتورهای جستجو و هم به مدل‌های زبان بزرگ (LLM) کمک می‌کنن، چون هر دو از زبان مشترک ساختار استفاده می‌کنن.

گزارش‌دهی و نحوه ارائه به مدیران

برای مدیران، BM25 یا امبدینگ‌ها تقریباً هیچ اهمیتی ندارن. چیزی که براشون مهمه، دیده شدن و اعتماده.

معیارهای جدید شما (SVR، UAVR و RCC) می‌تونن این مفاهیم انتزاعی رو به چیزی قابل اندازه‌گیری تبدیل کنن: اینکه چه مقدار از حضور فعلی شما در سئو، به دنیای هوش مصنوعی هم منتقل شده و رقبا به جای شما در کجاها مورد استناد قرار می‌گیرن.

این یافته‌ها رو در کنار آمار کلی عملکرد AI Mode در سرچ کنسول قرار بدید، اما یادتون باشه: در حال حاضر نمی‌تونید داده‌های AI Mode رو از کلیک‌های وب عادی جدا کنید، پس هر تخمینی در مورد هوش مصنوعی رو به عنوان یک معیار جهت‌دهنده در نظر بگیرید، نه یک آمار قطعی. همچنین این رو هم در نظر داشته باشید که ممکنه هنوز محدودیت‌های منطقه‌ای برای دسترسی به این داده‌ها وجود داشته باشه.

با این حال، این محدودیت‌ها از فایده این محاسبات کم نمی‌کنن. این روش کمک می‌کنه تا انتظارات واقع‌بینانه باقی بمونن و در عین حال به شما یه راه ملموس برای صحبت کردن با مدیران در مورد «دیده شدن از طریق هوش مصنوعی» می‌ده.

جمع‌بندی

شکاف بین جستجوی سنتی و دستیارهای هوش مصنوعی مثل یه دیوار نیست. بیشتر شبیه تفاوت در سیگنال‌هاست. موتورهای جستجو صفحات رو بعد از اینکه جواب مشخص شده، رتبه‌بندی می‌کنن. دستیارهای هوش مصنوعی، تکه‌های محتوا (چانک‌ها) رو قبل از اینکه جوابی وجود داشته باشه، بازیابی می‌کنن.

ریاضیاتی که در این مقاله مطرح شد، ایده‌ای برای مشاهده این گذار بدون نیاز به ابزارهای برنامه‌نویسیه. این ریاضیاتِ خودِ پلتفرم‌ها نیست؛ بلکه یه معیار جایگزین برای مارکترهاست که کمک می‌کنه چیزهای نامرئی، قابل مشاهده بشن.

در نهایت، اصول بنیادین ثابت باقی می‌مونن. شما هنوز هم باید برای شفافیت، ساختار و اعتبار بهینه‌سازی کنید.

حالا شما می‌تونید اندازه بگیرید که این اعتبار چطور بین سیستم‌های رتبه‌بندی و سیستم‌های بازیابی اطلاعات جابجا می‌شه و این کار رو با انتظارات واقع‌بینانه انجام بدید.

این دیده شدن، وقتی که شمرده بشه و در بستر مناسب قرار بگیره، همون چیزیه که باعث می‌شه سئوی مدرن، ریشه‌هاش رو در واقعیت حفظ کنه.