بیا یه سر بزنیم به دل یه موتور پاسخ‌گو و ببینیم GenAI چطور برنده‌ها رو گلچین می‌کنه!

یه سوال از ChatGPT، Perplexity، Gemini یا Copilot می‌پرسین و جواب در چند ثانیه جلوتونه. خیلی راحت به نظر می‌رسه، نه؟ اما پشت پرده، هیچ خبری از جادو نیست. اونجا یه جنگ تمام‌عیار در جریانه.

اینجا دقیقا همون مرحله‌ایه که محتوای شما با تمام گزینه‌های دیگه وارد یه جنگ تن‌به‌تن می‌شه. هر تیکه از محتوای ایندکس‌شده، دلش می‌خواد همونی باشه که مدل هوش مصنوعی انتخابش می‌کنه.

برای ما سئوکارها، این یک میدون جنگ جدیده. سئوی سنتی یعنی رتبه‌گرفتن تو یه صفحه نتایج. اما حالا، رقابت داخل یه سیستم انتخاب پاسخ اتفاق میفته. و اگه دنبال دیده‌شدن هستین، باید بفهمین این سیستم چطوری کار می‌کنه.

مرحله انتخاب پاسخ

این مرحله ربطی به خزش (crawling)، ایندکس کردن یا امبدینگ (embedding) در یک پایگاه داده‌ بُرداری (vector database) نداره. اون کارها قبل از اینکه سوالی پرسیده بشه، انجام شدن. مرحله انتخاب پاسخ وقتی شروع می‌شه که کاربر سوالش رو می‌پرسه. سیستم از قبل محتوا رو به بخش‌های کوچیک تقسیم کرده، امبدینگ کرده و ذخیره کرده. کاری که الان باید بکنه اینه که بخش‌های کاندید رو پیدا کنه، بهشون امتیاز بده و تصمیم بگیره کدوم‌ها رو برای تولید پاسخ نهایی به مدل اصلی بفرسته.

تقریبا تمام پایپ‌لاین‌های جستجوی مبتنی بر هوش مصنوعی مدرن از سه مرحله یکسان (در قالب چهار گام) استفاده می‌کنن: بازیابی (retrieval)، رتبه‌بندی مجدد (re-ranking) و بررسی وضوح (clarity checks). هر مرحله مهمه و وزن خودش رو داره. و با اینکه هر پلتفرمی دستورالعمل (وزن‌دهی اختصاصی) خودشو داره، تحقیقات موجود به ما اونقدری دید می‌ده که بتونیم یه نقطه شروع واقع‌بینانه رو ترسیم کنیم. یعنی در واقع، یه مدل برای خودمون بسازیم تا حداقل تا حدودی بفهمیم پشت پرده چه خبره.

اگه خودمون می‌خواستیم یه موتور جستجوی هوشمند بسازیم…

اگه شما می‌خواستین سیستم جستجوی مبتنی بر LLM خودتون رو بسازین، باید بهش می‌گفتین که هر مرحله چقدر اهمیت داره. این یعنی باید وزن‌های نرمال‌شده‌ای رو اختصاص بدین که جمعشون بشه یک.

یه ساختار اولیه قابل دفاع و مبتنی بر تحقیقات می‌تونه این شکلی باشه:

• بازیابی واژگانی (کلمات کلیدی، BM25): ۰.۴
• بازیابی معنایی (امبدینگ‌ها، مفهوم): ۰.۴
• رتبه‌بندی مجدد (امتیازدهی cross-encoder): ۰.۱۵
• امتیازهای وضوح و ساختاری: ۰.۰۵

هر سیستم هوش مصنوعی بزرگی، ترکیب اختصاصی خودش رو داره، اما همه اون‌ها در اصل دارن از همین مواد اولیه اصلی استفاده می‌کنن. چیزی که اینجا بهتون نشون دادم، نقطه شروع میانگین برای یه سیستم جستجوی سازمانیه، نه دقیقا چیزی که ChatGPT، Perplexity، Claude، Copilot یا Gemini باهاش کار می‌کنن. ما هیچ‌وقت از وزن‌دهی دقیق اون‌ها باخبر نمی‌شیم.

تنظیمات پیش‌فرض جستجوی هیبریدی در این صنعت هم همینو تایید می‌کنه. پارامتر آلفا در جستجوی هیبریدی Weaviate به طور پیش‌فرض روی ۰.۵ تنظیم شده، یعنی یه تعادل برابر بین تطابق کلمات کلیدی و امبدینگ‌ها. Pinecone هم در راهنمای جستجوی هیبریدی خودش همین پیش‌فرض رو آموزش می‌ده.

رتبه‌بندی مجدد وزن ۰.۱۵ رو می‌گیره چون فقط برای یه لیست کوتاه از بهترین گزینه‌ها اعمال می‌شه. با این حال، تاثیرش ثابت شده است: مقاله «رتبه‌بندی مجدد قطعه متن با BERT» نشون داد که وقتی BERT روی بازیابی BM25 اضافه شد، دقت به طور چشمگیری افزایش پیدا کرد.

وضوح هم ۰.۰۵ امتیاز می‌گیره. شاید کم به نظر برسه، اما واقعیه. یه قطعه متنی که با جواب اصلی شروع می‌شه، پر از اطلاعات و فکته، و می‌شه اون رو عیناً برداشت و استفاده کرد، شانس بیشتری برای برنده شدن داره. این با یافته‌های من در مقاله‌ام درباره همپوشانی معنایی در مقابل تراکم (semantic overlap vs. density) همخوانی داره.

در نگاه اول، شاید این حرف‌ها شبیه «همون سئو فقط با یه ریاضیات متفاوت» به نظر برسه. اما این‌طور نیست. سئوی سنتی همیشه یه جور حدس و گمان داخل یه جعبه سیاه بوده. ما هیچ‌وقت به الگوریتم‌ها در نسخه‌ای نزدیک به نسخه نهایی‌شون دسترسی نداشتیم. با سیستم‌های LLM، بالاخره به چیزی دست پیدا کردیم که جستجوی سنتی هیچ‌وقت به ما نداد: دسترسی به تمام تحقیقاتی که این سیستم‌ها بر اساس اون ساخته شدن. مقالات بازیابی متراکم، روش‌های ترکیب هیبریدی، مدل‌های رتبه‌بندی مجدد، همه‌شون در دسترسه. این به این معنی نیست که ما دقیقا می‌دونیم ChatGPT یا Gemini چطوری پیچ‌هاشون رو تنظیم می‌کنن یا وزن‌هاشون رو تغییر می‌دن، اما به این معنیه که می‌تونیم خیلی راحت‌تر یه مدل از نحوه کار احتمالی‌شون رو ترسیم کنیم.

از وزن‌دهی تا دیده‌شدن در نتایج

خب، همه این‌ها چه معنایی برای شما داره که سازنده این ماشین نیستین، بلکه دارین داخلش رقابت می‌کنین؟

همپوشانی واژگانی شما رو وارد بازی می‌کنه، تراکم معنایی به شما اعتبار می‌ده، فاکتورهای واژگانی نمی‌ذارن از دور رقابت حذف بشین و در نهایت، وضوح شما رو برنده می‌کنه.

این منطق پشت پرده فرآیند انتخاب پاسخه.

بازیابی واژگانی (Lexical retrieval) هنوز ۴۰ درصد از این جنگ رو تشکیل می‌ده. اگه محتوای شما شامل کلماتی که مردم واقعا استفاده می‌کنن نباشه، اصلا وارد گود رقابت هم نمی‌شین.

بازیابی معنایی (Semantic retrieval) ۴۰ درصد دیگه ماجراست. اینجا جاییه که امبدینگ‌ها مفهوم رو درک می‌کنن. پاراگرافی که مفاهیم مرتبط رو به هم گره می‌زنه، بهتر از یه پاراگراف سطحی و جداافتاده عمل می‌کنه. اینطوریه که وقتی کاربرا سوالشون رو با عباراتی که شما پیش‌بینی نکردین می‌پرسن، محتواتون پیدا می‌شه.

رتبه‌بندی مجدد (Re-ranking) ۱۵ درصد سهم داره. اینجا جاییه که وضوح و ساختار بیشترین اهمیت رو پیدا می‌کنن. بخش‌هایی از متن که شبیه یه جواب مستقیم هستن، بالا میان و اونایی که اصل مطلب رو لا‌به‌لای حرف‌های دیگه پنهان کردن، سقوط می‌کنن.

وضوح و ساختار (Clarity and structure) نقش تعیین‌کننده نهایی رو دارن. ۵ درصد شاید زیاد به نظر نرسه، اما تو رقابت‌های نزدیک، همین ۵ درصد برنده رو مشخص می‌کنه.

دو تا مثال ببینیم

محتوای راهنمای Zapier

مستندات و راهنماهای Zapier به تمیز بودن و پاسخ‌محور بودن معروفن. وقتی سوالی مثل «چطور گوگل شیت رو به اسلک وصل کنم؟» می‌پرسین، جوابی که از ChatGPT می‌گیرین با مراحل دقیق شروع می‌شه، چون محتوای Zapier دقیقا همون داده‌های مورد نیاز رو فراهم کرده. وقتی روی لینک منبع در ChatGPT کلیک می‌کنین، صفحه‌ای که باز می‌شه یه پست وبلاگ نیست؛ احتمالا حتی یه مقاله راهنما هم نیست. بلکه دقیقا همون صفحه‌ایه که به شما اجازه می‌ده کاری رو که خواستین، انجام بدین.

• واژگانی (Lexical)؟ قوی. کلمات «Google Sheets» و «Slack» دقیقا اونجا هستن.
• معنایی (Semantic)؟ قوی. این بخش از متن، عبارات مرتبطی مثل «ادغام» (integration)، «گردش کار» (workflow) و «تریگر» (trigger) رو کنار هم جمع کرده.
• رتبه‌بندی مجدد (Re-ranking)؟ قوی. مراحل با جواب اصلی شروع می‌شن.
• وضوح (Clarity)؟ خیلی قوی. فرمت‌بندی قابل اسکن و پاسخ‌محور.

توی یه سیستم با وزن‌دهی ۰.۴ / ۰.۴ / ۰.۱۵ / ۰.۰۵، تیکه محتوای Zapier از همه معیارها امتیاز بالایی می‌گیره. به همین دلیله که محتوای اون‌ها اغلب تو جواب‌های هوش مصنوعی دیده می‌شه.

یک پست وبلاگ مارکتینگی

حالا این رو با یه پست وبلاگ مارکتینگی طولانی و معمولی درباره «ترفندهای بهره‌وری تیمی» مقایسه کنین. این پست به Slack، Google Sheets و ادغام‌ها اشاره می‌کنه، اما بعد از ۷۰۰ کلمه داستان‌سرایی اولیه.

• واژگانی (Lexical)؟ وجود داره، اما لابه‌لای متن پنهان شده.
• معنایی (Semantic)؟ بد نیست، اما پراکنده‌ست.
• رتبه‌بندی مجدد (Re-ranking)؟ ضعیف. جواب سوال «چطور شیت رو به اسلک وصل کنم؟» تو یه پاراگراف وسط‌های متن پنهان شده.
• وضوح (Clarity)؟ ضعیف. هیچ تیکه محتوای پاسخ‌محور و قابل استخراجی وجود نداره.

با اینکه این محتوا از نظر فنی موضوع رو پوشش می‌ده، اما تو این مدل وزن‌دهی به مشکل می‌خوره. قطعه متن Zapier برنده می‌شه چون با نحوه عملکرد واقعی لایه انتخاب پاسخ هماهنگه.

جستجوی سنتی هنوز کاربر رو راهنمایی می‌کنه که بخونه، ارزیابی کنه و تصمیم بگیره که آیا صفحه‌ای که واردش شده به نیازش جواب می‌ده یا نه. اما پاسخ‌های هوش مصنوعی فرق دارن. اون‌ها از شما نمی‌خوان که نتایج رو تجزیه و تحلیل کنین. اون‌ها قصد شما رو مستقیما به اون کار یا جواب مدنظرتون متصل می‌کنن و شما رو صاف می‌برن تو حالت «انجامش بده». شما می‌پرسین «چطور گوگل شیت رو به اسلک وصل کنم؟» و در نهایت یه لیست از مراحل یا یه لینک به صفحه‌ای که کار توش انجام می‌شه، تحویل می‌گیرین. شما واقعا یه پست وبلاگ که توضیح بده چطور یکی این کار رو تو وقت ناهارش انجام داده و فقط پنج دقیقه طول کشیده، دریافت نمی‌کنین.

نوسان در پلتفرم‌های مختلف

یه تفاوت بزرگ دیگه هم با سئوی سنتی وجود داره. موتورهای جستجو، با وجود تغییرات الگوریتم، به مرور زمان به هم نزدیک شدن. اگه یه سوال یکسان رو از گوگل و بینگ بپرسین، اغلب نتایج مشابهی می‌بینین.

اما پلتفرم‌های LLM همگرا نمی‌شن، یا حداقل تا الان اینطور نبوده. اگه یه سوال یکسان رو از Perplexity، Gemini و ChatGPT بپرسین، اغلب سه تا جواب متفاوت می‌گیرین. این نوسان نشون می‌ده که هر سیستم چطوری به معیارهای خودش وزن می‌ده. مثلا Gemini ممکنه روی استناد به منابع (citations) تاکید بیشتری داشته باشه. Perplexity ممکنه به گستردگی بازیابی اطلاعات پاداش بده. ChatGPT ممکنه برای لحن محاوره‌ای، متن رو به شدت فشرده کنه. ما داده‌هایی داریم که نشون می‌ده بین یه موتور جستجوی سنتی و یه پلتفرم پاسخ‌گوی مبتنی بر LLM، شکاف بزرگی تو جواب‌ها وجود داره. داده‌های Brightedge (عدم توافق ۶۲ درصدی در پیشنهاد برندها) و داده‌های ProFound (…ماژول‌های هوش مصنوعی و موتورهای پاسخ‌گو تفاوت چشمگیری با موتورهای جستجو دارن، با تنها ۸ تا ۱۲ درصد همپوشانی در نتایج) این موضوع رو به وضوح نشون می‌دن.

برای ما سئوکارها، این یعنی بهینه‌سازی دیگه یه نسخه برای همه نیست. ممکنه محتوای شما تو یه سیستم عالی عمل کنه و تو یکی دیگه ضعیف باشه. این چندپارگی یه پدیده جدیده و شما باید راه‌هایی برای مدیریت اون پیدا کنین، مخصوصا با تغییر رفتار مصرف‌کننده‌ها در استفاده از این پلتفرم‌ها برای گرفتن جواب.

چرا این موضوع مهمه؟

تو مدل قدیمی، صدها فاکتور رتبه‌بندی با هم ترکیب می‌شدن تا یه «بهترین تلاش» کلی رو شکل بدن. اما تو مدل جدید، انگار با چهار تا اهرم بزرگ سر و کار دارین و هر پلتفرمی اون‌ها رو به شکل متفاوتی تنظیم می‌کنه. البته انصافا، پیچیدگی پشت این اهرم‌ها هنوز هم خیلی زیاده.

همپوشانی واژگانی رو نادیده بگیرین، بخشی از اون ۴۰ درصد رای رو از دست می‌دین. محتوای سطحی از نظر معنایی بنویسین، ۴۰ درصد دیگه رو هم می‌بازین. حاشیه برین یا جوابتون رو پنهان کنین، تو مرحله رتبه‌بندی مجدد برنده نمی‌شین. محتواتون رو با حرف‌های اضافه پر کنین، امتیاز وضوح رو از دست می‌دین.

اون جنگ تن‌به‌تن دیگه تو صفحه نتایج جستجو (SERP) اتفاق نمیفته؛ بلکه داخل پایپ‌لاین انتخاب پاسخ در جریانه. و خیلی بعیده که این اهرم‌ها ثابت باشن. می‌تونین مطمئن باشین که اون‌ها نسبت به خیلی از فاکتورهای دیگه، از جمله موقعیت نسبی خودشون، دائم در حال تغییرن.

لایه بعدی: راستی‌آزمایی (Verification)

امروز، انتخاب پاسخ آخرین دروازه قبل از تولید محتواست. اما مرحله بعدی уже در افق دیده می‌شه: راستی‌آزمایی.

تحقیقات نشون می‌ده که چطور مدل‌ها می‌تونن خودشون رو نقد کنن و صحت اطلاعاتشون رو بالا ببرن. مقاله Self-RAG چرخه‌های بازیابی، تولید و نقد رو به نمایش می‌ذاره. مقاله SelfCheckGPT بررسی‌های سازگاری رو در چندین نسل از تولید محتوا اجرا می‌کنه. گزارش شده که OpenAI در حال ساخت یک «راستی‌آزمای جهانی» (Universal Verifier) برای GPT-5 هست. من هم در یکی از مقاله‌های اخیرم در Substack به طور کامل در این باره نوشتم.

وقتی لایه‌های راستی‌آزمایی به بلوغ برسن، قابلیت بازیابی اطلاعات (retrievability) فقط شما رو وارد بازی می‌کنه. اما این راستی‌آزماییه که تصمیم می‌گیره شما تو بازی بمونین یا نه.

حرف آخر

این واقعا همون سئوی همیشگی در لباسی جدید نیست. این یه تحول بزرگه. ما الان می‌تونیم واضح‌تر چرخ‌دنده‌ها رو ببینیم چون تحقیقات بیشتری به صورت عمومی منتشر شده. ما همچنین شاهد نوسان هستیم چون هر پلتفرمی این چرخ‌دنده‌ها رو متفاوت می‌چرخونه.

برای ما سئوکارها، فکر می‌کنم نتیجه‌گیری واضحه. همپوشانی واژگانی رو قوی نگه دارین. تراکم معنایی رو در قالب خوشه‌های موضوعی بسازین. با جواب اصلی شروع کنین. بخش‌های متنتون رو مختصر و قابل استخراج بنویسین. می‌دونم که این‌ها چقدر شبیه راهنمایی‌های سئوی سنتی به نظر می‌رسه. این رو هم می‌دونم که پلتفرم‌هایی که از این اطلاعات استفاده می‌کنن چقدر با موتورهای جستجوی معمولی فرق دارن. و همین تفاوت‌هاست که مهمه.

اینطوری می‌تونین از جنگ تن‌به‌تن داخل هوش مصنوعی جون سالم به در ببرین. و به زودی، اینطوری می‌تونین از آزمون راستی‌آزمایی هم، وقتی به اون مرحله رسیدین، سربلند بیرون بیاین.