Semalt: چگونه Google می داند چه موقع (و چرا) می تواند جلوی خزیدن وب سایت خود را بگیرد؟

عنکبوت های Google هنگام بازاریابی یک وب سایت به همان اندازه کمپین سئو مهم هستند. آنها وب سایتها را خزیده و از صفحه هایی که می توانند پیدا کنند ، فهرست می کنند. همچنین ایندکس کردن مجدد در صفحات به روز شده در سایت را انجام می دهد. این کار را بطور منظم و بر اساس چندین عامل انجام می دهد. آنها شامل ، اما محدود به آنها ، PageRank ، محدودیتهای خزنده و پیوندهای موجود در صفحه نیستند. تعداد دفعاتی که عنکبوت های گوگل در سایت خزنده می کنند به یک یا چند مورد از این عوامل بستگی دارد.

یک وب سایت باید به راحتی توسط بازدید کنندگان و همچنین عنکبوت های خزنده گوگل قابل پیمایش باشد. به همین دلیل است که داشتن یک وب سایت دوستانه با خزیدن یک مزیت اضافه برای کمپین SEO است. در غیر این صورت ، گوگل قادر به دستیابی به محتوا نخواهد بود ، در نتیجه باعث کاهش رتبه سایت در صفحه رتبه بندی موتورهای جستجو می شود .

راس باربر ، مدیر موفقیت مشتری سامسونگ ، تعریف می کند که دو عامل مهم ایندکس سازی که گوگل برای تأثیرگذاری بر تصمیم خود برای کند کردن یا متوقف کردن خزیدن سایت شما متکی است ، زمان اتصال و کد وضعیت HTTP است. موارد دیگر شامل دستور disavow ، برچسب های "بدون دنبال" و robots.txt است.

کدهای وضعیت زمان و HTTP را وصل کنید

ضریب اتصال زمان به مدت زمانی که bot bot crawl برای رسیدن به سرور سایت و صفحات وب مربوط می شود مربوط می شود. سرعت گوگل از آنجایی که نشان دهنده تجربه خوب کاربر است ، از نظر گوگل بسیار ارزش دارد. اگر صفحه وب بهینه سازی نشده باشد ، سایت از نظر ضعیف رتبه بندی می کند. عنکبوت های Google تلاش هایی برای دستیابی به وب سایت انجام می دهند و اگر مدت زمان لازم برای ایجاد اتصال طولانی تر باشد ، آنها دوباره خاموش می شوند و کمتر از آن خزنده می شوند. علاوه بر این ، اگر گوگل فشار وارد کند تا وب سایت را با سرعت فعلی نمایه کند ، ممکن است تجربه کاربر را قطع کند زیرا ممکن است سرور خود را به طور قابل توجهی کند کند.

دومین عامل نمایه سازی ، کدهای وضعیت HTTP است که به چگونگی پاسخ سرور به یک درخواست برای خزیدن سایت پاسخ می دهد. اگر کدهای وضعیت در محدوده 5xx قرار داشته باشند ، گوگل آن را متوقف می کند تا سرعت خزیدن سایت فعلی را متوقف یا به تاخیر بیاندازد. هر چیزی در محدوده 5xx نشانگر مشکلات احتمالی با سرور است و پاسخ به درخواست ممکن است مشکل ساز باشد. به دلیل خطر ایجاد مشکلات اضافی ، رباتهای Google در صورت دستیابی بیشتر به سرور ، کنار می روند و نمایه سازی را انجام می دهند.

چه موقع Google از خزیدن سایت ادامه می دهد؟

گوگل معتقد است که بهترین تجربه را در اختیار کاربران قرار می دهد و سایتهایی را رتبه بندی می کند که عناصر SEO خود را به سمت اهداف فوق بهینه می کنند. اما ، اگر وب سایت در حال حاضر مشکلات ذکر شده در بالا را نشان می دهد ، به Googlebot خود دستور می دهد تا در زمان دیگری خزیدن را امتحان کند. اگر این مشکلات همچنان ادامه داشته باشند ، صاحب فرصتی عالی برای از دست دادن گوگل در جستجوی مطالب خود است و در نتایج جستجو به آن رتبه ای شایسته اختصاص می دهد. علاوه بر این مشکلات ، هر گونه علامت هرزنامه باعث می شود سایت از همیشه در نتایج جستجو ظاهر نشود.

مانند سایر الگوریتم های دیگری که گوگل از آن استفاده می کند ، عنکبوت های آن نیز اتوماتیک هستند. آنها برای یافتن ، خزیدن و نمایه سازی محتوای بر اساس پارامترهای خاصی ایجاد شده اند. اگر سایت با بهترین روش های خاص مطابقت نداشته باشد ، نمایه سازی اتفاق نمی افتد. بسیاری از فاکتورهای دیگر نیز درگیر هستند ، اما همیشه به یاد داشته باشید که به زمان اتصال و کدهای وضعیت HTTP سایت خود توجه داشته باشید.