مشکل ایندکس نشدن صفحات در گوگل

یکی از مشکلات بسیاری از وبسایت ها ایندکس نشدن صفحات سایت ها در گوگل است. به طور کلی دو مشکل اساسی در مورد ایندکس نشدن وبسایت ها وجود دارد:

۱- صفحات سایت دیر توسط گوگل ایندکس می شوند.

۲- صفحات سایت اصلاً در گوگل ایندکس نمی شوند.

امروز می خواهیم درمورد این مووضع صحبت کنیم، اگر صفحات سایت شما هم در گوگل ایندکس نمی شوند، این مقاله را دنبال کنید تا راه حل را پیدا کنید.

دلایل ایندکس نشدن سایت در گوگل

1. ایندکس نشدن سایت به دلیل وجود خطاهای سایت:

ارورهایی که در این دسته قرار می گیرند تمام وب سایتتان را تحت تاثیر قرار می دهند. به همین دلیل از خطاهای سایت به عنوان خطاهایی با اهمیت بالا یاد می شود. در ادامه انواع خطاهایی که می توانند عملکرد کل سایت را تحت تاثیر قرار دهند را به شما معرفی خواهیم نمود.

خطای DNS

داشتن مشکل dns به این معنا است که ربات گوگل به دلیل dns timeout یا مشکل dns lookup نمی تواند به دامنه شما متصل شود. همه دامنه ها به طور قطع توسط یک شرکت ارائه دهنده خدمات هاستیگ میزبانی می شوند. اگر با چنین مشکلی مواجه شدید، باید سریعا برای رفع آن اقدام کنید. چرا که در واقع اولین مرحله دسترسی ربات های گوگل به وب سایتتان همین مرحله است.

رفع خطای dns

به منظور رفع خطای dns که نتیجه آن ایندکس نشدن سایت است، باید به تریتب زیر پیش بروید:

1. در گام اول بهتر است از ابزار URL inspection سرچ کنسول گوگل استفاده نمایید تا متوجه شوید ربات گوگل به چه شکلی صفحه مربوط به URL مورد نظر را crawl می کند.
2. اگر گوگل نمی تواند صفحه مورد نظر را به درستی fetch کند، نیاز است که اقدامات بیشتری را داشت باشید. در این حالت می توانید به تنظیمات dns خود مراجعه کرده و مشکل را مورد بررسی قرار دهید.
3. بررسی کنید که آیا  که سرور میزبانتان ارور 404 یا 500 را نمایش می دهد یا خیر. در این حالت سرورتان به جای نمایش failed connection باید ارور 404 (not found) یا ارور 500 (server error) را نشان دهد. این ارورها در مقایسه با خطای dns دقیق تر است.

الگوریتم تازگی محتوا گوگل چگونه کار می کند ؟ ، برای خواندن این مقاله اینجا کلیک کنید

خرابی robots

در این حالت ربات گوگل نمی تواند فایل robots.txt را بازیابی کند و این امر منجر به ایندکس نشدن سایت می شود. شاید برایتان جالب باشد که بدانید تنها زمانی استفاده از فایل robots.txt ضرورت پیدا می کند که قصد داشته باشید دسترسی گوگل به برخی از صفحات خود را محدود کنید. اگر قصد دارید موتورهای جستجو تمامی اطلاعات موجود در وب سایتتان را ایندکس کند، نیازی به فایل robots.txt ندارید.

رفع خطای robots

اطمینان حاصل کنید که فایل robots.txt به شکل درستی پیکربندی شده باشد. بررسی کنید که در این فایل دسترسی گوگل به کدام یک از صفحات را محدود کرده اید. تمامی خطوط /:Diwallow نوشته شده در فایل robots.txt خود را بررسی نمود و اطمینان حاصل کنید که دسترسی همه لینک های تعیین شده به خواست خودتان محدود شده است.

2. ایندکس نشدن سایت به دلیل خطاهای URL

خطای 404

این ارور در واقع یکی از گیج کننده ترین خطاهایی است که در بحث crawl و ایندکس نشدن سایت وجود دارد. زمانی که ربات های گوگل تلاش می کنند تا صفحه ای که آدرس آن دیگر معتبر نیست را crawl کنند، با ارور 404 مواجه می شوند. حال با توجه به اینکه یک عامل نرم افزاری سبب این اتفاق شده است یا اینکه صفحه مورد نظر دیگر وجود ندارد، می توان این ارور را به دو دسته soft و hard تقسیم کرد.

آشنایی با خطای hard 404

خطای hard 404 چیزی است که شما احتمالا بارها در زمان گشت‌وگذار در اینترنت با آن رو به رو شده‌اید. به زبان ساده، این خطا یک سیگنال برای کاربر است که صفحه را نمی‌توان یافت یا به آن دسترسی پیدا کرد. خطای hard 404 در بسیاری از مواقع می‌تواند به دلیل عدم وجود صفحه باشد. مثلا اگر شخصی آدرس URL را اشتباه وارد کند، ممکن است با خطای hard 404 مواجه شود.

آشنایی با خطای soft 404

خطای Soft 404 وقتی اتفاق می‌افتد که سرور سایت شما برای لینکی که در سایت موجود نیست، یک صفحه واقعی را برمی‌گرداند. این خطا زمانی به وجود می‌آيد که سرور، لینک‌های خراب یا لینک‌های ناموجود را لینک سالم حساب می‎کند و کاربرانی که درخواست مشاهده این لینک‌ها را داده‌اند به صفحه اصلی سایت یا یک صفحه ۴۰۴ سفارشی که از قبل طراحی و پیاده‌سازی شده هدایت می‌کند.

این خطا یک مشکل جدی برای سایت شما ایجاد می‌کند؛ زیرا موتورهای جستجو ممکن است بیشتر وقت خود را صرف crawling و ایندکس کردن URLهای اغلب تکراری در سایت شما کنند.

آموزش رفع خطای soft 404

برای صفحات ناموجود:

• اگر صفحه از بین رفته است و هیچ بازدید یا پیوند قابل توجهی دریافت نمی‌کند، اجازه نمایش صفحات 404 یا 410 را بدهید. اطمینان حاصل کنید که پاسخ هدر سرور 404 یا 410 است، نه 200.
• تعداد خیلی زیادی از صفحات از دست رفته را به صفحه اصلی سایت، ریدایرکت نکنید. این صفحات باید به 404 یا صفحات مشابه مناسب هدایت شوند.
• برای صفحات موجود که قرار نیست soft 404 باشند:
• از وجود محتوای مناسب در صفحه اطمینان حاصل کنید، زیرا محتوای کم حجم ممکن است باعث ایجاد خطای 404 شود.
• مطمئن شوید که محتوای صفحه شما زمان اجرای کد پاسخ 200، صفحه 404 را نشان نمی‌دهد.

خطای Access denied

زمانی با خطای دسترسی رد شد رو به رو می شوید که ربات گوگل به دلیل نداشتن مجوز دسترسی نتواند صفحه وب سایتتان را crawl کند.

نقشه سایت یا سایت مپ چیست؟ ، برای خواندن این مقاله اینجا کلیک کنید

خطای Not followed

نباید این خطا را با ارور «nofollow» در بحث لینک دهی اشتباه بگیرید. مورد «not followed» در واقع به این معنا است که گوگل نمی تواند یک URL مشخص را دنبال کند. بیشتر اوقات این خطا به این دلیل پیش می آید که گوگل هنوز با خواندن محتوای Flash، کدهای Javascript و مقوله ریدایرکت شدن مشکل دارد. به همین دلیل اگر صفحات اصلی دچار مشکل not followed شده اند، باید برای رفع آن ها اقدام نمایید.

خطاهای dns و server

در زیر مجموعه خطاهای URL می توان خطاهای dns و سرور را نیز دوباره در نظر گرفت. البته روش حل و مدیریت این دسته از ارورها برای یک URL مشخص با تمام یک وب سایت یکی است. به همین دلیل روش رفع این خطاها که باعث ایندکس نشدن سایت می شوند را در قسمت جداگانه ای توضیح نمی دهیم. اما تفاوت هایی که در این زمینه وجود دارد که باید آنها را در نظر گرفت. اگر شما یک پیکربندی مجزا برای URL های خاص دامنه خود دارید باید آنها را در دسته خطاهای URL قرار دهید.