ربات های خزنده گوگل و سایر موتورهای جستجوگر

در این جلسه از آموزش سئو، با ربات های خزنده موتورهای جستجو آشنا می شویم و درک می کنیم که یک موتور جستجو از چه طریقی از سایت ما اطلاعات جمع آوری می کند؟ انواع ربات خزنده گوگل را ذکر می کنیم و در ادامه به شما می گوییم که این ربات ها چگونه در سایت ما خزش می کنند. با ما همراه باشید.

واضح است که برای قرار گرفتن سایت مان در نتایج یک موتور جستجو، سایت مان باید توسط آن موتور جستجو دیده شود و مورد بررسی قرار بگیرد. به عبارتی موتور جستجو باید به سایت ما بیاید و آن را بررسی کند و دیتایی که دریافت می کند را توسط الگوریتم های خود تحلیل کند و در نهایت با خروجی حاصل تحلیل الگوریتم خود، رتبه ی صفحه ی ما را تعیین کنند (حتی ممکن است به صفحه ی ما رتبه ای ندهد!).

پس یک موتور جستجو باید سایت ما را بررسی کند. اما به چه صورت این کار را انجام می دهد؟

ربات خزنده چیست؟

موتورهای جستجوگر یک سری ربات هایی را دارند که سایت ها و صفحات آن را Crawl (خزش) می کنند و به عنوان ربات خزنده شناخته می شوند. در واقع یک موتور جستجوگر توسط ربات های خزنده خود، سایت ما را بررسی می کند و اطلاعاتی مانند تایتل، دیسکریپشن، محتوای صفحه، لینک ها و… جمع آوری می کند. ربات های خزنده با زبان های برنامه نویسی مثل PHP، Node.js، Python و… نوشته می شوند و طبق دستوراتی که برای آنها نوشته شده است از طریق اینترنت و از طریق یک شبیه ساز انسانی وارد وب سایت می شوند و دیتای مورد نظر را دریافت می کنند.

ربات خزنده گوگل چیست؟

گوگل هم مانند سایر موتورهای جستجوگر، ربات هایی را دارد. ربات خزنده گوگل (اسپایدرها) انواع مختلفی دارند و این بات ها به صفحات سایت ها می روند و آنها را مورد بررسی خود قرار می دهند. بعد از جمع آوری دیتا توسط خزنده های گوگل، دیتا به مراحل بعدی یعنی پردازش و ایندکسینگ می رود.

انواع ربات ها ی گوگل (GoogleBot)

• Googlebot desktop: این ربات بررسی و ایندکس نسخه دسکتاپی سایت ها را بر عهده دارد.
• Googlebot mobile: این ربات بررسی و ایندکس نسخه موبایلی سایت ها را بر عهده دارد.
• Googlebot Images: این ربات پایش تصاویر موجود در وب را بر عهده دارد.
• Googlebot Video: این ربات بررسی ویدئوهای موجود در وب را بر عهده دارد.
• Googlebot News: این ربات برای سایت های خبری است.

خزنده ها چگونه صفحات سایت ما را خزش می کنند؟

خزنده ها برای دیدن صفحات دیگر سایت، به دنبال لینک هایی که در آن صفحه قرار دارند می روند. پس لینک های داخلی اهمیت زیادی پیدا می کند و باید در انتخاب لینک های منو، فوتر، سایدبار و… دقت شود. همچنین ربات ها از طریق لینک هایی که در سایت مپ (درآینده در مورد آن صحبت خواهیم کرد.) قرار دارند، در وب سایت خزش می کنند.

خوب است بدانید که در سورس سایت مپ، تگ <a></a> وجود ندارد و آدرس صفحه در تگ <loc></loc> قرار می گیرد.

در جلسه بعدی به سراغ این موضوع می رویم که اصلا ربات ها چگونه سایت ما را پیدا می کنند و وارد صفحات ما می شوند؟

این جلسه از آموزش سئو در مورد ربات های خزنده گوگل و سایر موتورهای جستجوگر به پایان رسید. اگه با وجود توضیحاتی که داده ایم، هنوز هم سوالاتی ذهن شما را درگیر کرده است، در قسمت کامنت ها سوال خودتان را بپرسید تا به شما پاسخ داده شود. موفق و پیروز باشید.