دلایل حذف شدن سایت از نتایج جستجوی گوگل::

اشکال در فایل robots.txt

وجود هر گونه اشکال یا ایراد در محتوای فایل رباتس robots.txt باید اولین چیزی باشد که به بررسی آن می پردازید. نمونه فایل رباتس به شکل زیر است:

domain.com/robots.txt

user-agent: *
Disallow: /example/
Disallow: /profile/*
Disallow: /my-analytics/*
Disallow: /plugins/
Allow: /plugins/*.css

sitemap: http://domain.com/sitemap.xml
sitemap: http://domain.com/image_sitemap.xml

توجه داشته باشید که وجود هر گونه ایراد در فایل رباتس، موجب می شود که ربات گوگل به بخش هایی از سایت، دسترسی نداشته باشد.
مشکل از جایی آغاز می شود که گاهی جهت جلوگیری از ایندکس شدن سایت در گوگل، تغییراتی در فایل رباتس ایجاد می شود که ممکن است اثرات مخربی داشته باشد.

فرض کنید شما یک فایل دارید در آدرس /articles/image-1.png و کد زیر در فایل رباتس شما وجود داره.

Disallow: /articles

گوگل این عکس رو هیچوقت نمیبینه ! و ایندکسش هم نمیکنه.
فرض کنید یک لینک به صفحه example.com/articles/seo.html وجود داره.

سوال: آیا این صفحه ایندکس میشه؟

جواب: بله ایندکس میشه !

چرا؟
چون این صفحه لینک داره و شما از ربات گوگل خواستید که اصلا به این مسیر نره ! نگفتید که ایندکسش نکن !

جا داره به معنی لغوی Disallow بپردازیم
Disallow: اجازه ندادن، مخالف Allow به معنی اجازه دادن
پس اینطوری میشه که اون صفحه کماکان ایندکس میشه ولی طوری که باید نه!

هیچوقت سعی نکنید تا صفحاتی از سایت را با استفاده از تغییر فایل رباتس robots.txt از نتایج گوگل حذف کنید.

نمونه رباتس فایل مناسب برای وردپرس:

User-agent: *

در واقع برای وردپرس هیچ نیازی به گرفتن جلوی ربات های موتور های جستجو از دسترسی به بخشی از سایت وجود ندارد. در صورت وجود وسواس در این زمینه، می توانید تنها جلوی دسترسی ربات ها به بخش مدیریت سایت را بگیرید (که هیچ الزامی به انجام این کار وجود ندارد.) دوره آموزش تولید محتوا سئو شده (کامل)

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: http://domain.com/sitemap.xm

همچنین یک فایل رباتس مناسب برای سایت جوملا، به صورت زیر است:

User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cli/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /tmp/

توجه داشته باشید که خطوط زیر را حتما از فایل رباتس سایت جوملا حذف کنید:

Disallow: /modules/
Disallow: /plugins/
Disallow: /components/

اشکال در متا تگ robots

راه منطقی و صحیحی که برای جلوگیری از ایندکس شدن صفحات خاصی از سایت در موتور های جستجو پیشنهاد می شود، اضافه کردن متا تگ زیر در صفحات مورد نظر است:

<meta name="robots" content="noindex" />
<meta name="googlebot" content="noindex" />

مورد بالایی، تمامی ربات هایی که صفحات را ایندکس می کنند را خطاب قرار می دهد و درخواست می کند که صفحه مورد نظر را ایندکس نکند.
مورد پایینی تنها مختص گوگل است.

مقدار صحیح این متا تگ برای اینکه صفحات را ایندکس کند، به صورت زیر است:

<meta name="robots" content="index" />

همچنین در صورت عدم وجود این متا تگ در صفحات، مقدار پیش فرض آن یعنی index,follow برای آن در نظر گرفته می شود.

ممکن است به خاطر یک خطای انسانی، ایراد در کد نویسی یا افزونه هایی که در سایت خود نصب می کنید، در این متا تگ اشکالی ایجاد شود و صفحاتی از سایت شما از نتایج حذف شده و در نتیجه موجب کاهش ورودی سایت از گوگل شود.

وجود ایراد در دسترسی ربات های گوگل به وبسایت

اگر سرور سایت به دلایل فنی، برای ربات های گوگل قابل دسترسی نباشد، گوگل چندین بار برای بررسی مجدد دسترسی اش به سایت شما، به ان سر می زند. اگر این عدم دسترسی برای مدتی (معمولا چند روز) ادامه داشته باشد، می تواند منجر به پاک شدن آن صفحات خاص از نتایج شود.

راه حل:

برای بررسی این موضوع، ابتدا تمامی صفحات (یا حداقل تعدادی از صفحات که نماینده همه صفحات دیگر باشند) را به طور دستی بررسی کنید. این بررسی شامل بررسی این است که آیا این صفحات به درستی برای شما باز می شوند یا خیر. سپس می توانید چند مورد از صفحات حذف شده را با استفاده از بخش Crawl > Fetch as Google در کنسول جستجوی گوگل (GSC: Google Search Console) بررسی کنید.

برای دیدن بهترین نتیجه، صفحات را Fetch and render کنید. سپس این کار را در حالت Desktop و Mobile: Smartphone انجام دهید تا مطمئن شوید سایت شما از مشکل فنی خاصی که سایت تنها برای نسخه دسکتاپ ربات گوگل باز شود، پیش نیامده باشد. چرا که در این حالت هم سایت شما به طور موقت و تا حل مشکل، از نتایج حذف میشود.

پیشنهاد شگفت انگیز کدفرند،دسترسی به تمامی دوره های آموزشی کدفرند تنها با ۹۹ هزار تومان

دلایل کاهش ورودی سایت از گوگل : پنالتی و سندباکس گوگل

پنالتی شدن سایت توسط گوگل یک دلیل دارد. آن هم عزم راسخ گوگل برای دادن بهترین تجربه کاربری و دقیق ترین نتایج به کاربرانی است که جستجویی را انجام می دهند. پنالتی گوگل یک کابوس و اتفاق استرس زاست که هر وبمستر یا سئو کاری به شدت از آن ترس دارد. البته که پنالتی شدن فقط زمانی معنا دارد که یک وبمستر یا سئو کار بداند که از طریق روش های غیر منطقی، غیر اصولی، کلاه سیاه، گول زننده یا از هر راه نادرستی وبسایت خود را در گوگل بالا آورده باشد. دوره آموزش تولید محتوا سئو شده (کامل)