حتماً نام تگ Noindex را شنیده‌اید. همه وب مستران دوست دارند که صفحاتی را که در سایتشان منتشر می‌کنند بلافاصله ایندکس بشود اما بعضی‌اوقات ما نمی‌خواهیم روبات‌های گوگل صفحه ما را ایندکس کنند؛ در چنین موقعیتی از تگ Noindex استفاده می‌کنیم. موقعیت‌های مختلفی وجود دارد که شما می‌توانید از تگ نو ایندکس استفاده کنید. در این مقاله می‌خواهیم بدانیم تگ Noindex چیست و اینکه چطور از آن بهره ببریم. پیشنهاد می‌کنیم که تا آخر این مقاله با تیم آموزشی شو همراه باشید.
فهرست مطالب
خزنده (crawl) گوگل چیست؟
خزیدن یعنی دنبال کردن یک مسیر. روبات‌ها پس از ورود به هر صفحه از سایت، لینک‌های موجود در صفحه را دنبال کرده و به دیگر صفحات سایت نیز وارد می‌شوند. پیمایش این مسیرها همان عمل خزیدن گوگل است. البته در این بین با استفاده از فایل Robots.txt می‌توان لینک‌ها و صفحاتی که نمی‌خواهیم پیمایش شوند را برای گوگل مشخص کنیم.
ایندکس (Index) گوگل چیست؟
زمانی که لینکی برای بررسی به گوگل ارسال میشود، گوگل عمل خزیدن را آغاز می‌کند. پس از پیمایش محتویات صفحه اصلی و لینک‌های موجود، چگالی کلمات کلیدی را بررسی کرده و این کار را ادامه می‌دهد، تا زمانی که هیچ ارتباطی خارجی دیگری در صفحه پیدا نکند.. سپس کلیه صفحات شناسایی‌شده، جهت ایندکس ارسال می‌شوند و درنهایت با توجه به نوع کلمات کلیدی و دیگر معیارهای سئو، صفحات رتبه‌بندی شده و در کتابخانه ایندکس گوگل قرار می‌گیرند. گوگل در هر بار جستجوی کاربر، سایت‌هایی را نمایش می‌دهد که در رتبه اول ایندکس گوگل قرار دارند.
به زبان ساده قرار گرفتن یک صفحه اینترنتی در لیست گوگل، ایندکس گوگل گفته میشود
با استفاده از تگ noindex رتبه خود را در گوگل افزایش دهید
اگر در حوزه توسعه وب و بازاریابی دیجیتال کارکرده باشید شکی نیست که داستان‌های ترسناکی درباره تگ noindex شنیده باشید. اغلب زمان‌ها، هنگامی‌که در حال طراحی یک وب‌سایت جدید هستید از قابلیت noindex برای صفحات سایت خود استفاده می‌کنید به این معنا که این صفحات در جستجوهای گوگل نمایش داده نشود.
فراموش کردن حذف تگ noindex پس از کامل شدن طراحی سایت می‌تواند تعداد زیادی از کاربران را از بازدید سایت شما محروم کند. تگ noindex یک خط ساده است ولی استفاده نادرست از این تگ می‌تواند آسیب‌های زیادی را به‌طور جدی بر روی تعداد بازدیدکنندگان سایت شما تحمیل کند. با این حال تعداد صفحات noindex موجود در فضای وب‌سایت بسیار در حال زیادشدن هستند. این‌یک تناقض است چگونه ممکن است شما در تنظیمات خود تعریف کرده باشید که کمتر در نتایج جستجو گوگل نمایش داده شود ولی تمایل داشته باشید که سایت شما در نتایج جستجوی گوگل بیشتر نشان داده شود.
چگونگی تأثیر noindex بر روی خزنده‌ها (Crawling):
مشخص است که گوگل مدت‌زمان زیادی را صرف خزیدن در صفحات نامرتبط و کم‌اهمیت در سایت‌ها می‌کند.
با قرار دادن تگ noindex در صفحات کم‌اهمیت و نامرتبط گوگل می‌تواند ارزش بیشتری را برای صفحات سطح بالا در نظر بگیرید. این باعث میشود که گوگل زمان و منابع بیشتری را صرف خواندن صفحات مهم کند و صفحات مهم را در نتایج جستجوی خود با رتبه‌بندی بهتری، رتبه‌بندی نماید.
به خاطر داشته باشید noindex کردن صفحات هیچ تأثیری بر روی کارکرد صفحات ندارد و کاربران عادی سایت شما می‌توانند پس از ورود به سایت این صفحات را مشاهده کنند. این صفحات فقط از دید عنکبوت‌های گوگل پنهان خواهند شد.
پس چه طور این کار را انجام دهیم؟
هشدار: به یاد داشته باشید که تگ noindex همان مقدار که می‌تواند برای شما مفید باشد درصورتی‌که از آن به‌صورت نادرست استفاده کنید می‌تواند به سایت شما آسیب بزند و درصورتی‌که صفحات مهم سایت شما به‌صورت noindex تعریف شوند در نتایج جستجوهای گوگل رتبه‌بندی نخواهد شد.
تعدادی از صفحات وجود دارند که همیشه باید به‌صورت noindex تعریف شوند مانند صفحات زیر:
1– صفحه ورود به CMS شما (برای مثال صفحه wp-admin در وردپرس)
2– صفحه “متشکرم ” پس از فرایند تکمیل خرید
3– صفحه‌ی که حاوی محتوایی چاپی یک صفحه دیگر هستند (دارای محتوای تکراری هستند)
4– صفحات نتایج مربوط به جستجوهای داخلی سایت
5– فهرست مقالات یا اخبار سایت
هنگامی‌که لیست نامزدهای دریافت تگ noindex کامل شد کد زیر را به آن صفحات اضافه کنید تا این صفحات توسط عنکبوت‌ها بازدید نشوند.
<META NAME=”ROBOTS” CONTENT=”NOINDEX, FOLLOW”>
این واقعاً می‌تواند خیلی ترسناک باشد درصورتی‌که به‌درستی استفاده نشود زیرا گوگل در جستجوهای بعدی خود صفحاتی که داری برچسب noindex هستند را بازدید نمی‌کند و از نتایج جستجوی خود حذف می‌کند.
در ادامه کد بالا شما کلمه follow را مشاهده می‌کنید. کلمه follow باعث میشود که صفحات دیگری که توسط این صفحه معرفی می‌شوند نیز توسط عنکبوت‌ها بازدید نشوند.
پارامترهای کنترل ایندکس صفحات
Noindex: به موتورهای جستجو اعلام می‌کند که آن صفحه را ایندکس نکنند.
Index: به موتورهای جستجو اعلام می‌کند که آن صفحه را ایندکس کنند. نکته مهم در اینجا این است که لازم به درج این پارامتر در تمام صفحات ندارید، چراکه موتورهای جستجو به‌صورت پیش‌فرض به ایندکس صفحات می‌پردازند.
Follow: با این دستور، موتورهای جستجو حتی صفحاتی که ایندکس نمی‌شوند را بررسی کرده و لینک‌های داخل آن را دنبال می‌کنند. همچنین با این کار، اعتبار صفحه به لینک‌های داخل آن نیز داده میشود.
Nofollow: این پارامتر به موتورهای جستجو اعلام می‌کند که هیچ لینکی در صفحه را دنبال نکرده و اعتباری به آنها منتقل نکنند.
Noimageindex: این پارامتر به پایشگرها اعلام می‌کند که عکس‌های صفحه را ایندکس نکنند.
None: این پارامتر معادل استفاده همزمان از Noindex و Nofollow در صفحه است.
Noarchive: با این پارامتر موتورهای جستجو لینک کش صفحه را در SERP (صفحه نتایج جستجو) نشان نمی‌دهند.
Nocache: این پارامتر همانند Nocache می‌باشد، منتها با این تفاوت که توسط اینترنت اکسپلورر و فایرفاکس استفاده می‌گردد.
Nosnippet: این پارامتر به موتورهای جستجو اعلام می‌کند که اسنیپت های صفحه (مانند متاتگ توضیحات) را در صفحه نتایج جستجو نشان ندهند.
Noodyp/noydir: این پارامتر منسوخ‌شده است و درگذشته برای عدم نمایش توضیحات سایت DMOZ در صفحه نتایج جستجو مورداستفاده قرار می‌گرفت.
Unavailable_after: این پارامتر به ربات‌های جستجو اعلام می‌کند که از یک تاریخ مشخص به بعد نباید آن صفحه را ایندکس کنند.
نحوه رفع خطای noindex در گوگل سرچ کنسول
در رابطه با متا تگ نو ایندکس، معمولاً دو نوع خطا در سرچ کنسول نمایش داده میشود.
Submitted URL marked ‘noindex’
این خطا زمانی ایجاد میشود که شما درخواست ایندکس یک URL رادارید درحالی‌که از تگ noindex برای همان صفحه استفاده کرده‌اید. بنابراین اگر می‌خواهید این صفحه در نتایج جستجوی گوگل نمایش داده شود، باید تگ نوایندکس را از کدهای صفحه بردارید.
Excluded by ‘noindex’ tag
این پیام همیشه هم به‌عنوان خطا در نظر گرفته نمی‌شود. این پیام یعنی اینکه برای یک URL از متا تگ نوایندکس استفاده‌شده و صفحه توسط موتورهای جستجو نمایش داده نمی‌شود. در این شرایط اگر مطمئن هستید که صفحه نباید ایندکس شود، پس جای نگرانی نیست. در غیر این صورت مجدداً باید این تگ را از صفحه حذف کنید.
آدرس Excluded با تگ نوایندکس و بلاک شدن توسط فایل
این پیام زمانی ایجاد میشود که Googlebot در اثر رو به رو شدن با تگ noindex یا دستور بلاک در فایل robots.txt، قادر به ایندکس کردن صفحه نیست.
آموزش بیشتر در کانال آپارات : www.aparat.com/amozeshisho
نویسنده و گردآورنده : محمد باغدار
کاش با بیان ساده تری توصیف میکردید