چه صفحاتی از سایت را باید noindex یا nofollow کنیم؟

در میان صفحه ها و مطالب هر سایتی ممکن است صفحاتی یافت شوند که در واقع ارزشی برای افزایش ترافیک سایت یا هر نوع بهبود رتبه در موتورهای جستجو را نداشته و بعضا فقط بخاطر برخی قوانین و مقررات (مثل قوانین نماد اعتماد الکترونیکی) یا تکمیل برخی عملیات در سایت قرار گرفته اند. چنین صفحاتی نه نیازی به ایندکس شدن در موتورهای جستجو و نمایان شدن در بین نتایج جستجو را دارند و نه نمایش داده شدن آنها در بین نتایج جستجو، میتواند کمکی به سایت شما بکند. (چنین صفحاتی حتی در برخی مواقع باعث گیج شدن کاربر هم میشوند.)

در آموزش امروز به نحوه ی جلوگیری از ایندکس شدن این صفحات در موتورهای جستجو خواهیم پرداخت و به طور کلی به بررسی بخش هایی از سایت که ممکن است لازم باشد آنها را noindex یا nofollow کنیم، خواهیم پرداخت. از شما دعوت میکنیم در ادامه ی این مقاله با مسترکد همراه شوید. توجه داشته باشید که این مقاله یک مقاله ی عمومی بوده و مختص کاربران کلیه ی وبسایت هاست. هرچند ممکن است در برخی بخش ها مثال هایی از سایت های وردپرسی به میان بیاید اما موارد درج شده در این مقاله، برای کلیه ی سایت ها کاربردی خواهند بود.

noindex و nofollow چیست و چه کاربردی دارد؟

noindex و nofollow هر دو تنظیماتی هستند که شما میتوانید آنها را به تگ متای ربات های سایت (robots meta tag) اضافه کنید. این تگ معمولا به شکل زیر است :

مقادیر VALUE1 و VALUE2 معمولا به صورت پیشفرض روی index, follow تنظیم میشوند. این امر به این مفهوم است که صفحه ی دارای این مقادیر، ایندکس شده و لینک های موجود در داخل آن توسط موتورهای جستجو دنبال خواهند شد.

اما حالت فوق، تنها حالت ممکن نیست و مثلا مقادیر VALUE1 و VALUE2 میتوانند معادل noindex, nofollow باشند که در چنین شرایطی موتور جستجو متوجه میشود که صفحه ی مورد نظر نباید ایندکس شود و لینک های داخلی آن نیز نباید دنبال شوند.

در اینجا بد نیست به این نکته توجه داشته باشید که منظور ما از nofollow، انجام نوفالو در سطح لینک نبوده و در این مقاله هدف اصلی ما پرداخت به مواردی است که یک برگه ممکن است نیاز به nofollow شدن داشته باشد. (یعنی لینک های داخلی آن توسط موتورهای جستجو دنبال نشود) در بخش های بعدی به طور واضح تری به این موضوع خواهیم پرداخت تا تفاوت نوفالو کردن در سطح لینک و نوفالو کردن در سطح صفحه نیز برای شما آشکار تر شود.

چه صفحه هایی از سایت را باید noindex کنیم؟

در ادامه سعی میکنیم به مثال هایی از برخی از صفحات سایت که بهتر است noindex شوند بپردازیم. توجه داشته باشید که این مثالها، الزاما همه ی شرایط ممکن را پوشش نمیدهند و در پایان این شما هستید که باید بسنجید که آیا صفحه ی مورد نظر لازم است در موتورهای جستجو پدیدار شود یا خیر.

صفحه آرشیو نویسنده : اگر شما تنها نویسنده ی سایت خود باشید، احتمالا محتوای صفحه ی آرشیو نویسنده ی شما با مطالب درج شده در بلاگ سایت شما، یکسان است. در این حالت ایندکس شدن آرشیو نویسنده ممکن است از دیدگاه گوگل duplicate content تلقی شود. بنابراین در چنین حالاتی لازم است که آرشیو نویسنده را noindex کنید.

برخی از post type ها : در واقع هر نوع post type ای که در رتبه ی شما در نتایج جستجو موثر نیست، میتواند noindex شود. مثلا فرض کنید در سایت شما توصیه نامه های مشتریان یا اعضای تیم به عنوان post type تعریف شده باشند. در چنین حالتی عموما این موارد تاثیری در کسب رتبه ی بهتر برای سایت شما در نتایج جستجو نداشته و عملا نیازی به پدیدار شدن آنها در نتایج جستجو نیست. خصوصا که دسترسی مستقیم از صفحه ی جستجو به محتوای این صفحات، مفهوم خیلی خاصی هم ندارد. بنابراین اگر چنین نوع های نوشته ای در سایت شما موجود است، (پس از تفکر و تصمیم گیری صحیح) میتوانید آنها را noindex کنید.

صفحات تشکر از کاربر : در اکثر سایت ها برخی صفحات واسط وجود دارند که کار آنها نمایش پیام و محتوایی مختصر به کاربر است و هدف دیگری ندارند. مثلا صفحات تشکر یا خوش آمد گویی که ممکن پس از عضویت در خبرنامه یا ارسال یک فرم به کاربر نشان داده شوند. این صفحات بجز عملیات واسطی که انجام میدهند، عموما فاقد هر نوع ارزش دیگر بوده و بهتر است noindex شوند.

صفحات ورود به سایت و صفحات مدیریتی : اگر سایت شما سرویسی عمومی که نیاز به لاگین کاربران داشته باشد نیست، نیازی هم نیست که صفحات ورود آن در نتایج موتورهای جستجو پدیدار شوند. بنابراین شما میتوانید با خیال راحت این صفحات را noindex کنید.

صفحه نتایج جستجو : اگر نمیخواهید تجربه ی کاربر را در زمان جستجو خراب کنید، نباید اجازه بدهید صفحه های نتایج جستجوی داخلی سایت در موتورهای جستجو ایندکس شوند. (مثلا فرض کنیم شما به یک کوئری جستجو در سایت لینک میدهید و این لینک در موتورهای جستجو ایندکس میشود) در مورد صفحه نتایج جستجو، هرچند خود صفحه باید noindex باشد اما لینک های موجود درون صفحه، لینک های ارزشمندی هستند که نباید آنها را نوفالو کنیم. بنابراین در مورد صفحات جستجو بهتر است از حالت زیر برای تگ ربات های سایت استفاده کنید :

توجه داشته باشید که این مسئله برای همه مثال های دیگر بالا نیز صادق است. یعنی هر چند نمیخواهیم خود صفحه ایندکس شود ولی دلیلی وجود ندارد که از دنبال شدن لینک های داخلی صفحات ذکر شده جلوگیری کنیم.

در مورد صفحه ی نتایج جستجو بد نیست به این نکته اشاره کنیم که اگر سایت شما وردپرسی است و از افزونه ی سئوی یوست استفاده میکنید، نیازی نیست نگران noindex کردن صفحه جستجو باشید. چرا که این کار به صورت پیشفرض توسط این افزونه برای شما انجام شده است.

صفحاتی که جهت پیروی از برخی قوانین در سایت درج شده اند : برخی از صفحات سایت مانند صفحه قوانین و مقررات، یا فرضا قوانین عودت وجه، صفحه اعلام شکایات و موارد از این دست ممکن است فقط جهت پیروی از برخی قوانین در سایت شما درج شده باشند. گرچه تصمیم گیری در مورد عدم ایندکس شدن این صفحات کاملا بر عهده ی خود شماست اما عموما کاربران نیازی ندارند که با سرچ در موتورهای جستجو قادر به یافتن این صفحات باشند. بنابراین در مورد این صفحات نیز بهتر است که آنها را noindex کرده و از پدیدار شدن آنها در نتایج جستجو جلوگیری کنید تا امکان دسترسی به این صفحات تنها از طریق مراجعه به خود سایت میسر باشد.

چه صفحه هایی از سایت را باید nofollow کنیم؟

در مورد nofollow کردن گوگل اینطور میگوید که زمانی لازم است این کار را انجام دهیم که یکی از شرایط زیر برقرار باشد (البته تقریبا!) :

• محتوای مورد نظر قابل اعتماد نباشد
• برای لینک دادن هزینه ای دریافت شده باشد
• قصد ایجاد اولویت در خزیدن صفحات را داشته باشیم

مثلا دیدگاه های سایتتان را در نظر بگیرید. شما نمیتوانید دقیقا پیش بینی کنید که چه لینکی با چه محتوایی توسط مخاطبین شما در بخش دیدگاه ها ارسال میشود. بنابراین بهتر است که لینک های موجود در دیدگاه ها همواره nofollow باشند. (وردپرس این کار را به صورت پیشفرض انجام میدهد)

به طور کلی در یک سایت عادی، ذکر کردن شرایطی که در آن لازم باشد کل محتوای یک صفحه nofollow شود بسیار سخت است و به ندرت پیش می آید که در یک سایت عادی چنین شرایطی برقرار شود.

اما مثلا یکی از حالاتی که به ذهن میرسد در شرایطی است که شما در صفحه ای لینک های بازاریابی یک سایت دیگر را قرار داده باشید. صفحه ی مورد نظر میتواند برای کاربران شما حکم یک فهرست ارزشمند را داشته باشد ولی دلیلی ندارد که شما اجازه بدهید این صفحه به ارزش لینک اصلی بازاریابی سایت مورد نظر اضافه کند. (اینجا حفظ ارزش سایت شما مهم تر است و از طرفی هم شاید بتوان گفت که این لینک ها، لینک های غیر رایگان به حساب می آیند) حالت مشابهی در زمانی که قصد داشته باشید گروهی از سایت های مشابه را مانند یک دایرکتوری/لیستینگ در یک صفحه به کاربران معرفی کنید پیش می آید. در چنین شرایطی قصد شما آشنایی کاربران با سایت های مورد نظر است اما قصد افزایش ارزش سایت های ذکر شده را نخواهید داشت. در این حالات میتوانید محتوای صفحه ی مورد نظر را nofollow کنید.

در اکثر حالات دیگر nofollow کردن لینک های صفحه کفایت میکند و نیازی به نوفالو کردن یک صفحه ی کامل نیست.

بعضی از کارهایی که در گذشته لازم بود

در گذشته لازم بود که کلیه ی زیر صفحات یک آرشیو را نوایندکس کنید و فقط اجازه بدهید که صفحه ی اصلی آرشیو ایندکس شود. (مثلا صفحه 1 و 2 و 3 و … از یک دسته بندی نیازی به ایندکس جداگانه ندارند و فقط صفحه ی اصلی است که لازم است در موتورهای جستجو ایندکس شود.) اما خوشبختانه حالا موتورهای جستجو به خوبی rel=next و rel=prev را درک میکنند و مادامی که این مقادیر در زیر صفحات آرشیو شما موجود باشند، آرشیو به درستی ایندکس میشود، بدون اینکه نیاز باشد کلیه ی زیرصفحات را noindex کنید. (مجددا در اینجا هم اگر از افزونه ی سئوی یوست استفاده میکنید، کلیه ی این موارد به صورت اتوماتیک برای شما انجام خواهد شد.)

بنابراین بد نیست این نکته را هم در نظر داشته باشیم که الزاما آنچه امروز به عنوان امری صحیح و الزامی قلمداد میشود، چیزی نیست که 1 سال دیگر هم معتبر باشد و لازم است که همواره توانایی های موتورهای جستجو را زیر نظر بگیریم و در صورت نیاز استراتژی های خود را در مدیریت سایتمان تغییر دهیم.

جمع بندی نهایی

در پایان روی این نکته تاکید میکنیم که آنچه در بالا ذکر شد، صرفا مثال هایی از شرایطی است که ممکن است در آنها نیاز به noindex یا nofollow کردن محتوای سایتتان داشته باشید. اما به عنوان یک مدیر سایت، ممکن است شرایط متعددی دیگری نیز برای شما پیش بیاید که در آنها لازم باشد مطابق توضیحات درج شده در این راهنما عمل کنید. بنابراین سنجش و تصمیم نهایی با شماست و این شما هستید که تعیین میکنید کدام یک از مطالب ساید شما باید و کدام یک نباید در نتایج جستجو پدیدار شوند.

امیدواریم که از این آموزش لذت برده باشید.