بودجه خزش چیست؟
بودجه خزش چیست و چرا اینقدر مهم است؟
در ابتدای بحث، لازم است اطلاعاتی در مورد خزندهها و رباتهای گوگل داشته باشید تا بفهمید بودجه خزش چیست. تعدادی از صفحات سایت شما هر روز توسط خزندههای گوگل بررسی میشوند و این خزندهها ممکن است برخی از صفحات را ایندکس کنند. این بدان معناست که اطلاعات آن صفحه در پایگاه داده موتور جستجو ذخیره شده و به کاربران نمایش داده میشود.
بودجه خزش تعداد صفحاتی از سایت شماست که هر روز توسط خزندهها بررسی میشوند. این مقدار میتواند روزانه تغییر کند، اما به طور کلی به عنوان یک عامل نسبتاً پایدار شناخته میشود.
عوامل زیادی وجود دارند که میزان خزش رباتها را تعیین میکنند. این عوامل عبارتند از:
نوع صفحه
تازگی صفحه
تعداد لینکهای داخلی و خارجی
اگر اخیراً صفحهای در وبسایت خود ایجاد کردهاید و میخواهید در اسرع وقت به کاربران نمایش داده شود و رتبه خوبی کسب کند، باید خزندهها (خزندههای موتور جستجو) را به آن جذب کنید. در واقع، گاهی اوقات ممکن است مدت زیادی طول بکشد تا خزندهها متوجه یک صفحه جدید شوند. بنابراین اگر میخواهید سئوی سایت خود را با اتلاف وقت کمتر بهبود بخشید، باید دقیقاً بدانید که بودجه خزش چیست و چگونه میتوان آن را بهبود بخشید.
خزندههای گوگل چه فرآیندی را طی میکنند؟
تا اینجا فهمیدیم که بودجه خزش چیست، اما شاید کنجکاو باشید که بدانید خزندهها و رباتها دقیقاً چگونه کار میکنند. همانطور که گفتیم، وظیفه خزندهها خزش صفحات سایت و فهرستبندی موارد مفید است. برای انجام این کار، یک ربات لیستی از URLهای سایت را دریافت میکند و بر اساس آن عمل میکند. این خزندهها با نگاه کردن به نقشه سایت و بک لینکها تصمیم میگیرند که کدام صفحات را در مرحله بعد اسکن کنند.
اگر گوگلبات متوجه شود که برخی از لینکها خراب هستند یا تغییر کردهاند، صفحه فهرست شده خود را بهروزرسانی میکند. به عبارت دیگر، هدف خزندههای گوگل فهرستبندی محتوای مفید از سایتهای مختلف است، به طوری که وقتی کاربری عبارتی را جستجو میکند، جدیدترین و مفیدترین صفحات را ببیند. بنابراین، خزندههای گوگل به دادههای فهرست شده بسیار اهمیت میدهند.
خزندههای گوگل دائماً فایل robots.txt را در سایت شما بررسی میکنند تا مطمئن شوند که اجازه دسترسی و اسکن صفحات سایت را دارند.
چگونه بفهمیم بودجه خزش سایت ما کاهش یافته است؟
هزاران سایت در اینترنت وجود دارند که هر روز محتوای جدید منتشر میکنند یا محتوای قبلی خود را بهروزرسانی میکنند. برای بررسی همه این سایتها و انتخاب بهترین آنها برای نمایش به کاربران، گوگل به یک ساختار قدرتمند و عظیم نیاز دارد. خزندههای گوگل هر روز تعداد زیادی سایت را اسکن میکنند. با وجود این اسکنها، خزندهها هنوز نمیتوانند زمان نامحدودی را برای اسکن یک سایت اختصاص دهند، اما برای هر سایت بودجه خزش مشخصی وجود دارد.
بنابراین، اگر میخواهید صفحات مهمتری از سایت شما ایندکس شوند، باید صفحات غیرضروری و اضافی را از دسترس رباتها حذف کنید. برای افزایش سرعت ایندکس سایت، باید وقت خود را صرف محتوای مفیدتر کنید. به این ترتیب، با بهینهسازی نرخ بودجه خزش، قادر خواهید بود تعداد صفحات ایندکس شده خود را افزایش داده و رتبه خوبی در نتایج جستجوی گوگل کسب کنید.
راهکارهایی برای درک علت کاهش بودجه خزش
اما سوال اساسی این است که چگونه بفهمیم بودجه خزش سایت ما کاهش یافته است؟ سریعترین راه برای کشف این موضوع، مشاهده گزارشهای سرور سایت است. برای انجام این کار، مراحل زیر را دنبال کنید:
با مراجعه به کنسول جستجوی سایت خود و کلیک بر روی تنظیمات، گزینه آمار خزش (Crawl stats) را انتخاب کنید.
در این بخش، به صفحاتی که خزش شدهاند دسترسی خواهید داشت.
میانگین تعداد صفحات خزش شده در روز را محاسبه کرده و آن را یادداشت کنید.
حالا باید تعداد کل صفحات سایت خود را بر عدد میانگین تقسیم کنید. اگر عددی که به دست میآورید بیش از 10 باشد، به این معنی است که رباتهای گوگل فقط میتوانند یک دهم صفحات شما را در روز خزش کنند. بنابراین به نظر میرسد بهتر است بودجه خزش سایت خود را بهینه کنید. اگر عددی که به دست میآورید کمتر از 3 باشد، نیازی به نگرانی نیست و بودجه خزش سایت شما نسبتاً بهینه است.
گوگل کدام URLها را خزش میکند؟
حالا ما درک مختصری از بودجه خزش و نحوه رفتار خزشگران گوگل داریم. سوال بعدی که باید به آن پاسخ دهیم این است که رباتها کدام URLها را خزش یا اسکن میکنند؟ مهمترین راهی که خزشگران گوگل از طریق آن به صفحات یک سایت دسترسی پیدا میکنند، نقشه سایت XML است. علاوه بر این، لینکهای داخلی یا خارجی نیز رباتها را به سایت شما هدایت میکنند؛ بنابراین، همیشه توصیه میشود که نقشه سایت را مرتباً بررسی کنید تا از سالم بودن URLها مطمئن شوید.