محتوای تکراری یا کپی (Duplicate Content) چیست؟

محتوای تکراری، کپی یا اصطلاحا Duplicate Content، محتواییست که در چند جا از اینترنت به طور یکسان وجود دارد. منظور از جا در اینجا، یک آدرس اینترنتی یا همان URL است. بنابراین اگر یک محتوا از سایت شما در چند یو آر ال مشاهده گردد، با مشکل محتوای تکراری روبرو هستید.

در حالی که شاید محتوای کپی باعث جریمه سایت شما نشود، اما در بسیاری از مواقع باعث افت رتبه سایت در نتایج جستجو می گردد. هنگامی که یک محتوای تقریبا یکسان در چند آدرس اینترنتی وجود دارد، برای گوگل دشوار می شود که از بین این آدرس ها، کدام یک را در هنگام جستجو به کاربران نشان دهد.

محتوای کپی یا تکراری چیست؟

منظور از محتوای تکراری، محتواییست که تقریبا کپی از محتوای دیگری بوده و در URL مستقلی ارائه می شود. این کپی شدن میتواند از سایت خود شما صورت گرفته باشد. حتی در صورت تفاوت خیلی کم نیز مسئله Duplicate Cantent ایجاد می شود. دقت داشته باشد که وجود بخشی از محتوا که در صفحات دیگری وجود دارد و اصلاحا کپی شده است، مسئله ای غیرقابل اجتناب است (به عنوان مثال نقل قول هایی که از دیگر صفحات کپی می شوند).

انواع محتوای تکراری کدامند؟

در حالت کلی محتواهای تکراری به دو بخش دسته بندی می شوند:

• محتوای تکراری داخلی به این معنی که یک محتوا در آدرس های متنوعی از همان وب سایت در دسترس است.
• محتوای تکراری خارجی به این معنا که یک محتوا در دامنه های متفاوتی دیده می شود.

تاثیر محتوای تکراری در سئو چیست؟

محتوای تکرای از دید سئو، موتورهای جستجو و همینطور صاحبین وب سایت ها اهمیت زیادی دارد.

از دید سئو

گوگل به صورت رسمی اشاره ای مبنی بر جریمه کردن وب سایت های دارای محتوای تکراری نکرده است، اما چون در عمل محتواهای تکراری در نتایج جستجو نمایش داده نمی شوند، با چیزی همچون جریمه مواجه میشویم. محتوای تکراری موجب گیج شدن گوگل شده و توانایی تشخیص آنها در انتخاب URL مناسب برای نمایش در نتایج جستجو را با اختلال مواجه می کند. در چنین شرایطی احتمال آن وجود دارد که صفحه اصلی که محتوا در آن تولید شده است در نتایج جستجو نمایش داده نشود.

از دید موتورهای جستجو

محتوای تکراری موجب سه مشکل اساسی برای موتورهای جستجو می گردد:

1. آنها نمی دانند که کدام نسخه از محتوا را وارد شاخص اصلی خود کنند.
2. آنها نمی دانند که میزان اعتبار محتوا را به یکی از آدرس ها اختصاص داده یا بین همه تقسیم کنند.
3. آنها نمی دانند که کدامیک از آدرس ها را در SERP (صفحه نتایج جستجو)، نمایش دهند.

از دید صاحبین وب سایت ها

هنگامی که محتوای تکراری در سایت به وجود می آید، صاحبین سایت ها از افت رتبه سایت ضربه خواهند دید. این مسئله به دو قسمت تقسیم می شود:

1. موتورهای جستجو برای نمایش بهترین نتایج، به طور نادری چند نسخه از یک محتوا را نمایش می دهند و بنابراین مجبور به انتخاب یکی از چند نسخه محتوا در سایت می گردند. این حالت موجب کاهش نمایش هر یکی از محتواهای تکراری در نتایج جستجو می گردد.
2. سایر سایت ها نیز مجبورند یکی از چند نسخه لینک ها را انتخاب کنند، در نتیجه ارزش بک لینک کاهش پیدا می کند. در این حالت به جای اینکه وب سایت ها فقط به یک نسخه از محتوا لینک دهند، ناخواسته به چندین آدرس از آن محتوا لینک داده می شود و در نتیجه اعتبار بک لینک ها کاهش پیدا می کند. چون بک لینک ها یکی از فاکتورهای رتبه بندی صفحات محسوب می شوند، این مسئله بر تعداد نمایش یک محتوا در نتایج جستجو تاثیر منفی می گذارد.

نتیجه کلی: محتوای سایت شما از نمایش خوبی در نتایج برخوردار نمی شود و رقبایی که محتوای تکراری ندارند، از شما سبقت می گیرند.

چگونه مشکل محتوای تکراری ایجاد می شود؟

در بسیاری از موارد مشاهده شده، صاحبین سایت ها نقشی در تولید محتوای تکراری ندارند. اما این مسئله به معنی نبود آن نیست. حقیقت اینست که به طور متوسط، 29 درصد وب را محتوای تکراری تشکیل داده است.

در ادامه نگاهی به عوامل ایجاد محتوای تکراری می پردازیم که اغلب به صورت ناخواسته به وجود می آیند:

1. پارامترهای یو آر ال

پارامترها در یو آر ال صفحات یکی از اصلی ترین عوامل ایجاد محتوای تکراری هستند. هم خود پارامترها و هم توالی ایجاد آنها در یو آر ال باعث ایجاد این مشکل می گردند.

مثال:

• یو آر ال www.widgets.com/blue-widgets?color=blue، تکراری از یو آر ال www.widgets.com/blue-widgets است.
• یو آر ال www.widgets.com/blue-widgets?color=blue&cat=3 تکراری از یو آر ال www.widgets.com/blue-widgets?cat=3&color=blue است.

همچنین، ID هایی که در هر ارتباط کاربران با وب سایت در یو آر ال ایجاد می شوند نیز می توانند موجب بروز محتوای تکراری شوند. در این حالت هر کاربر بعد از ورود به سایت، یک ID به آن نسبت داده شده و این ID در یو آر ال پدیدار می شود.

نسخه های پرینتی صفحات نیز موجب بروز Duplicate Content می گردند و به این واسطه چندین نسخه از یک صفحه ایندکس می شود.

2. نسخه های http و https، نسخه با www و بدون www یا نسخه دارای و بدون اسلش انتهایی

اگر سایت شما دارای دو نسخه با www و بدون www به شکل های www.site.com و site.com است و در هر دو نسخه یک محتوا وجود دارد، شما به همین سادگی محتوای تکراری ایجاد کرده اید. این مسئله درباره نسخه های http و https سایت نیز وجود دارد. اگر هر دو نسخه از سایت اجرا و مشاهده می شوند، مصداق محتوای تکراری هستند. همچنین اگر نسخه ای از محتوا هم با اسلش انتهایی در URL و هم بدون آن همزمان در دسترس باشد، محتوای تکراری ایجاد شده است.

3. محتوای کپی شده

محتوای سایت تنها شامل پست ها یا صفحات دارای مطلب شما نمی شوند. اطلاعات موجود در صفحه محصولات شما نیز جز محتوای سایت هستند. کپی کنندگان ممکن است، پست های شما را در هنگام انتشار سرقت کرده و در سایت خود منتشر کنند. همچنین بسیاری از فروشگاه های اینترنتی از اطلاعات داده شده از طرف تولید کننده آن در توضیحات محصولات استفاده کنند. این توضیحات احتمالا توسط سایت های دیگری نیز به کار برده شده است. هر دوی این حالات جز محتوای تکراری محسوب می شوند.

چگونه مشکل محتوای تکراری را حل کنیم؟

حل مشکل محتوای تکراری از این ایده آغاز می شود که کدام یک از آدرس ها، آدرس صحیح محتوا است. وقتی محتوایی در چندین آدرس ارائه می شود، می بایست برای موتورهای جستجو تفهیم شود که کدام آدرس صحیح است. سه راهکار برای انجام این کار عبارتند از: استفاده از ریدایرکت 301 به یو آر ال صحیح، تگ rel=canonical یا استفاده از بخش کنترل پارامترهای گوگل در ابزار گوگل سرچ کنسول.

ریدایرکت 301

در بسیاری از موارد، بهترین راه استفاده از ریدایرکت صفحات تکراری به صفحه اصلیست. وقتی چندین صفحه مشابه را به یک صفحه ریدایرکت می کنیم، ارزش صفحه در رقابت با سایر صفحات دیگر سایت ها افزایش می یابد. در نتیجه رتبه صفحه در نتایج جستجو ارتقا داده می شود.

Rel=canonical

راهکار دیگر در برخورد با محتوای تکراری استفاده از تگ rel=canonical در صفحات تکراری است. این تگ به موتورهای جستجو اعلام می کند که این صفحات در واقع کپی از یک صفحه اصلی هستند و اعتبار آنها می بایست به آن صفحه اصلی منتقل شوند.

تگ rel=canonical در واقع بخشی از کد HTML در <head> وب سایت و به شکل زیر است:

<link rel=”canonical” href=”https://radzad.com/” />

تگ rel=canonical می بایست به قسمت هد کد HTML تمام صفحات تکراری اضافه شده و یو آر ال اصلی نیز قید گردد. دقت کنید که کوتیشن ها را حتما قرار دهید. این تگ مانند ریدایرکت 301، تقریبا تمام اعتبار صفحه را به صفحه اصلی منتقل کرده و به خاطر اینکه در سطح صفحه اجرا میشود (نه در سطح سرور)، نیاز به مدت زمان کمتری برای تاثیر گذاری دارد.

با استفاده از افزونه MozBar در مرورگر کروم، می توان در هر صفحه ای که هستید، یو آر ال اصلی آن را مانند شکل زیر مشاهده کنید.

متای Noindex

متا تگی که در ابنجا بسیار کارامد است و در برخورد با صفحات تکرای می تواند مفید باشد، متا تگ Robots با مقدار “noindex, follow” می باشد. با قرار دادن این تگ در قسمت <head> صفحات تکراری، می توان از ایندکس شدن آنها توسط موتورهای جستجو جلوگیری کرد.

فرمت کلی این متا تگ به شکل زیر است:

<meta name=”robots” content=”noindex,follow”>

این متا تگ به موتورهای جستجو اجازه می دهد که لینک های درون صفحات تکراری را پایش کرده اما خود آن صفحات ایندکس نگردند. دادن اجازه دسترسی به گوگل از بابت پایش صفحات تکراری از اهمیت برخوردار است، حتی اگر به گوگل اعلام می کنید که آن را ایندکس نکند. گوگل به صورت ضمنی اعلام کرده است که از محدود کردن دستری ربات های آن به پایش صفحات هر چند تکراری جلوگیری نکنید. موتورهای جستجو علاقه مندند که هر چیزی در سایت را مشاهده کنند. این قابلیت به آنها اجازه می دهد که در شراط مبهم تصمیمات درستی بگیرند.

استفاده از نو ایندکس کردن در صفحاتی مانند صفحه بندی ها، بسیار مفید است و از ایجاد محتوای تکراری جلوگیری می کند.

دامین ارجح و کنترل پارامترها در گوگل سرچ کنسول

گوگل سرچ کنسول به صاحبین سایت ها اجازه می دهد که از بین نسخه با www و بدون www، نسخه انتخابی خود را برای پایش و ایندکس توسط ربات های گوگل انتخاب کنند. همچنین می توان پارامترهایی که نیازی به پایش ندارند را نیز در قسمت مربوطه مشخص کنند.

بسته به ساختار یو آر ال سایتتان و عوامل ایجاد محتوای تکراری، استفاده از راهکارهای انتخاب یو آر ال ارجح و کنترل پارامترها می تواند بسیار کارامد باشد.

اشکال اصلی در استفاده از کنترل پارامترها به عنوان تنها راه حل رفع مشکل محتوای تکراری اینست که این سیستم فقط در گوگل کاربرد دارد و هر یکی از قوانین تعریف شده در آن، توسط دیگر موتورهای جستجو مانند بینگ، دیده نمی شود. به همین دلیل شما می بایست به وبمستر هر یک از موتورهای جستجو رفته و تنظیمات مربوط به کنترل پارامترها را انجام دهید.

دیگر راهکارها در برخورد با مشکل محتوای تکراری

1. در استفاده از لینک های داخلی در سایت از یک فرمت ثابت استفاده کنید. به عنوان مثال اگر نسخه انتخابی سایت شما بدون www است، تمام لینک های داخلی را نیز بدون www نوشته و از استفاده از نسخه های با www خودداری کنید.
2. در هنگام به کار بردن لینک های سایت در سایر سایت ها مطمئن شوید که از نسخه اصلی لینک ها استفاده می شود و از به کاربردن سایر لینک های تکراری پرهیز کنید.
3. برای ایجاد یک لایه امنیتی بیشتر برای محتوایتان در هنگام سرقت شدن توسط کپی کنندگان، تگ کانونیکال را در صفحه اصلی نیز به کار ببرید. این کار موجب خنثی شدن تاثیر کپی مطالب توسط سرقت کنندگان آن می شود. با اینکه همه کپی کنندگان از کد صفحات در جهت کپی کردن مطالب استفاده نمی کنند، اما هنوز بسیار از آنها از این تکنیک بهره می برند. به کار بردن تگ کانونیکال، موجب خنثی شدن تاثیر کپی مطالب توسط آنهایی می گردد که از کد صفحه استفاده می کنند.

5 افسانه در مورد محتوای کپی

تنها بدین خاطر که استفاده از محتوای کپی را باید به حداقل رساند به این معنا نیست که این نوع از محتوا به طور کلی بد است. برای کمک به درک بهتر تاثیر محتوای کپی بر سئو در ادامه به شرح 5 افسانه درباره این موضوع پرداخته ایم.

1. داشتن محتوای کپی موجب افت شدید رتبه سایت می شود

با اینکه محتوای کپی بر افت رتبه سایت می تواند تاثیر گذار باشد، اما تاثیر آن قدری که برخی از سئوکارها بزرگ اعلام کرده اند نیست.

دقت داشته باشید که گوگل از مجموعه فاکتورهای زیادی برای رتبه بندی صفحات استفاده می کند. با تولید محتوای بهتر و ارزشمندتر میتوانید گوگل را متقاعد کنید که در بین چند نسخه از یک محتوای کپی شده، محتوای شما را برای نمایش در نتایج جستجو انتخاب کند. با اشتراک محتوای خود در شبکه های اجتماعی میتوانید از این حیث بین خود و کپی کنندگان تفاوتی ایجاد کنید.

2. کلیه محتواهای کپی جریمه میشوند

گوگل عادت به جریمه کردن محتواهای کپی ندارد. مگر اینکه وب سایتی رفتار فریبنده ای پیش رو بگیرد و سعی کند که صرفا با استفاده از کپی کردن محتوا از سایت های دیگر اقدام به کسب رتبه کند.

با این توضیحات محتوای کپی نباید جای نگرانی زیادی برای صاحبین وب سایت ها ایجاد کند. اگر شما همواره اقدام به تولید محتوای اورجینال کرده و از تکنیکهای منسوخ شده پرهیز کنید، هیچ وقت از بابت چند محتوای تکراری با جریمه رو به رو نخواهید شد.

3. کپی کنندگان به رتبه وب سایتم آسیب می رسانند

آیا ما از کپی کنندگان محتوا بیزاریم؟ نه. کپی کنندگان محتوا در عین حال که به وب سایت شما کمک نمی کنند، آزاری هم به شما نمی رسانند.

به هیچ وجه نباید نگران وب سایت های بدون بازدیدی باشید که محتوای شما را کپی و منتشر می کنند. گوگل با یک نگاه به این گونه وب سایت ها متوجه بی ارزش بودن آنها خواهد شد. بنابراین آنها نمیتوانند به رتبه وب سایت شما آسیب برسانند. با این حال اگر رتبه محتوای کپی شده از رتبه وب سایت شما پیشی گرفت، می توانید درخواست حذف آن صفحه از نتایج جستجو را به گوگل دهید. دقت داشته باشید که بهتر است به دنبال Disavow کردن بک لینک ها از محتواهای کپی شده نروید. چرا که گوگل تنها پیشنهاد به Disavow کردن بک لینک هایی کرده است که در سطح بالایی بر روی سایت شما اعمال شده اند.

4. ارسال مجدد پست های مهمان در سایت خودتان فایده ای ندارد

پست مهمان یک راهکار عالی برای دریافت ترافیک بیشتر و افزایش قدرت شما به عنوان یک رهبر در زمینه فعالیتتان است. فقط مراقب باشید که بیش از حد در پست های مهمان خود لینک خارجی ندهید. 52 درصد از پست های مهمان لینک های خروجی بیشتری نسبت به لینک های ورودی دارند و مطالعات اخیر نشان می دهد که این مسئله برای سئو مضر است.

اگر تصمیم دارید پست مهمان تهیه و منتشر کنید، این احتمال وجود دارد که مخاطبان شما پست مهمان شما را نبینند، بنابراین ممکن است بخواهید این محتوا را در وبلاگ خود بازنشر کنید. در چنین شرایطی، انتشار مجدد پست مهمان به سئو وب سایت شما لطمه نمی‌زند؟

در حقیقت نه.

من به عنوان مهمان در چند سایت‌های عالی پست گذاشته‌ام، و برخی از آنها نویسندگان را تشویق می‌کنند که پس از چند هفته مطالب را در وبلاگ خود بازنشر کنند. کاری که بهتر است انجام دهید این است که یک تگ HTML کوچک به پست اضافه کنید تا نسخه اصلی یک مقاله را از نسخه بازنشرشده متمایز کنید.

اگر قصد بازنشر یک پست مهمان را دارید، تگ نمونه زیر در محتوای بازنشر شده به کمک شما می آید:

<link rel=canonical href=”http://www.MainBlog.com/original-article.html”/>

این تگ به گوگل کمک می کند تا پست اصلی را شناسایی کرده و بر اساس آن محتوا ها را رتبه بندی کند.

5. گوگل می تواند سازنده اصلی محتوا را شناسایی کند

به طور معمول، موتورهای جستجو مانند گوگل نمی توانند سازنده محتوای اصلی یا یک URL را شناسایی کنند.

این یکی از مشکلات اصلی در بحث محتوای تکراری است. در واقع این احتمال وجود دارد که شخصی بتواند محتوای شما را سرقت کرده، آن را در وبلاگ خود منتشر و خود را نویسنده آن خطاب کند.

این موضوع با عنوان سرقت ادبی شناخته می شود. اگر این اتفاق برای شما افتاد، از روش هایی که گوگل در اختیارتان قرار داده است استفاده کرده و این موضوع را از نظر حقوقی پیگیری کنید.