درباره تاریخچه کوتاه گوگل و ربات خزنده آن در وب
درباره تاریخچه کوتاه گوگل و ربات خزنده آن در وب : در این مقاله به بررسی تاریخچه کوتاهی از شرکت گوگل و بررسی ربات های خزنده آن میپردازیم .
درباره تاریخچه کوتاه گوگل و ربات خزنده آن در وب
تاریخچه گوگل
گوگل یک پروژه تحقیقاتی بود که در سال ۱۹۹۶ توسط لری پیج و سرگی برین در دانشگاه استنفورد در کالیفرنیا آغاز شد .
آنها نام پروژه خود را “BackRub” گذاشته بودند زیرا موتور جستجوگر آنها لینکهای پشتیبانی سایتها را بررسی میکرد و بر همان مبنا میزان اهمیت آنها را در نتایج جستجو تعیین میکرد (که بعداً رتبه صفحه نامیده شد)، که در همان زمان یک وبگاه کوچک دیگری با نام RankDex با روشی مشابه کار میکرد.
موتور جستجوگر آنها ابتدا با دامنه google.stanford.edu استفاده میشد و در ۱۵ سپتامبر سال ۱۹۹۷ دامنه google.com ثبت شد.و در سپتامبر ۱۹۹۸ در واقع اولین دفتر کار گوگل راهاندازی شد و این شرکت رسماً به ثبت رسید. در واقع اولین دفتر کار گوگل در گاراژ خانهٔ سوزان وژکیکی در منلو پارک، کالیفرنیا قرار داشت.
خزنده های گوگل
خزنده ها ( Robots- Spider-Crawler) در اصل نرم افزارهای تحت وبی هستند که با الگوریتم های هوشمند و پیچیده ای که موتورهای جستجو برای آنها تهیه کرده اند وارد صفحات وب می شوند .این کرولر ها با دیدن لینک هایی که در این صفحات مشاهده می کنند بیکار ننشسته و به آن لینک ها میخزند . و ممکن است باز مجددا در آن صفحات , لینک های دیگری باشد که به همین صورت این خزیدن ادامه پیدا می کند .
ربات گوگل چه کاری انجام میدهد؟
- گوگل بات محتوای صفحات وب را جمعآوری میکنند (کلمات، کدها و منابعی که صفحات وب را ساختهاند)
- اگر محتوایی که بازیابی میکند به موارد دیگری لینک دارد، موارد لینک شده هم بررسی میشوند.
- ربات گوگل اطلاعات را به گوگل میفرستد.
ربات گوگل و وبسایت شما
اطلاعاتی که بات های گوگل به سمت کامپیوترهای گوگل میفرستند، Index های گوگل را بهروزرسانی میکنند. Index گوگل جایی است که صفحات وب مقایسه و رتبهبندی میشوند.
- برای اینکه صفحات سایت شما در گوگل یافت شوند، آنها باید توسط گوگل بات قابلمشاهده باشند.
- برای اینکه صفحات سایتتان به رتبهبندی بهینه دست پیدا کنند، همه منابع وب سایتتان باید توسط گوگل قابلدسترسی باشد.
نکته : ربات گوگل یک وبسایت را مثل انسان ها نمیبیند بلکه قطعات و فایل ها و به کد ها دسترسی دارد و به صورت کد آنها را شناسایی میکند . پس دقت کنید که اگر در هر کدام از اجزای وبسایت شما دسترسی ربات خزنده گوگل محدود شده باشد وبسایت شما برای گوگل ایندکس فرستاده نخواهد شد .
در آخر
شما میتوانید ربات گوگل را کنترل کنید و یا محدود کنید با استفاده از robots.txt در وبسایتتان ولی توصیه میکنم اصلا ربات خزنده گوگل را محدود نکنید و وبمستران هوشمند همیشه وبسایت را تست میکنند تا ببینند دسترسی کامل ربات های خزنده را در وبسایت دارند یا نه.