Crawl Budget adalah jumlah halaman yang akan dirayapi Google di situs Anda pada hari tertentu. Jumlah ini dapat berbeda dari hari ke hari, namun secara umum, jumlahnya relatif stabil.
Google mungkin merayapi 10 halaman di situs Anda setiap hari, tapi mungkin merayapi 10.000 halaman, bahkan mungkin merayapi 1.000.000 halaman setiap hari.
Pada website dengan jumlah konten yang banyak, budget pada proses crawl bisa menjadi masalah penting yang harus diperhatikan.
Apa Itu Crawl Budget?
Jika kita merujuk pada Backlinko [1], maka pengertian Crawl Budget adalah jumlah halaman yang dirayapi dan diindeks Googlebot di situs web dalam jangka waktu tertentu.
Namun jika kita merujuk langsung dari Google [2], maka pengertian dari crawl budget adalah sebagai berikut :
Jumlah URL yang dapat dan ingin dirayapi Googlebot. Click To TweetBerikut ini videonya.
Untuk memahami lebih dalam, ada baiknya anda juga mengetahui pengertian crawl secara khusus bagi Google.
Apa Itu Crawl?
Crawl adalah proses yang digunakan bot search engine untuk mengunjungi halaman baru dan yang diperbarui untuk ditambahkan ke indeks
Crawl adalah tahap pertama dari tiga tahap cara kerja search engine. Yaitu crawl, indexing dan ranking. Dengan crawling, search engine dapat mengetahui halaman apa yang ada di web.
Anda dapat mempelajari lebih detil mengenai proses crawl ini pada artikel saya berikut ini.
Apakah Crawl Budget Itu Penting?
Karena memiliki hubungan erat dengan proses yang dilakukan oleh Google, maka tentu crawl budget itu sangat penting khususnya bagi SEO.
Apakah Crawl Budget Memiliki Pengaruh Terhadap SEO?
Tentu saja hal ini akan memiliki pengaruh terhadap SEO (Search Engine Optimization).
Jika jumlah produksi konten anda sangat besar, sedangkan crawl budgetnya lebih kecil, maka ada kemungkinan konten anda akan terlambat diindex oleh Google.
Konten anda akan memerlukan waktu lebih lama untuk dapat diranking oleh Google jika crawl budget tidak sebanding dengan jumlah produksi konten anda.
Namun, menurut pernyataan Google pada dokumentasinya [2], jika jumlah konten pada website anda belum mencapai angka ribuan maka anda belum perlu untuk khawatir mengenai crawl budget.
Pada website dengan ukuran tersebut, Google masih mampu melakukan perayapan secara efektif.
Bagaimana Cara Memeriksa Crawl Budget?
Untuk memeriksa crawl budget anda, bisa dilakukan melalui Google Search Console.
Pertama, silakan Log in ke Google Search Console dan pilih website yang anda inginkan
Lalu, buka bagian Setting, kemudian pilih menu Crawl dan selanjutnya pilih Crawl Stats. Pada laporan tersebut anda dapat menemukan jumlah halaman yang dicrawl oleh Google setiap harinya.
Apa itu Crawl Report?
Laporan Statistik Perayapan atau Crawl Report adalah laporan yang menunjukkan statistik tentang riwayat perayapan/crawl Google di situs web Anda.
Misalnya, berapa banyak permintaan yang dibuat dan kapan waktunya, apa respons server Anda, dan berbagai masalah yang muncul saat proses crawl itu dilakukan.
Anda dapat menggunakan laporan ini untuk mendeteksi apakah Google mengalami masalah saat melakukan crawl terhadap situs Anda.
Laporan ini ditujukan untuk pengguna tingkat lanjut. Jika Anda memiliki situs dengan kurang dari seribu halaman, Anda tidak perlu menggunakan laporan ini atau merasa mengkhawatirkan mengenai crawl budget.
Dalam mendefenisikan crawl budget ada dua istilah yang wajib anda ketahui yaitu Crawl Rate Limit dan Crawl Demand.
Apa Itu Crawl Rate Limit?
Crawl rate Limit adalah batasan yang ditetapkan oleh Google dalam melakukan proses crawl agar tidak menggangu pengalaman pengguna atau user experience.
Apa Yang Membatasi Crawl Budget?
Hal utama yang membatasi crawl budget adalah tingkat kesehatan server anda serta batasan budget yang anda tetapkan sendiri.
Jika web server anda merespons dengan cepat permintaan dan Googlebot maka untuk sementara waktu, batasnya naik, yang berarti lebih banyak koneksi dapat digunakan untuk merayapi.
Tapi jika web server anda melambat atau bahkan mengirimkan pesan error, maka batasnya turun dan Googlebot akan mengurangi proses crawlnya.
Selain itu anda juga dapat menetapkan batasan dari crawl budget pada Google Search Console.
Kemudian ada juga istilah yang terkait dengan yang perlu anda ketahui. yaitu Crawl Demand atau perminataan perayapan.
Apa Itu Crawl Demand?
Crawl Demand adalah penilaian Google terhadap suatu URL mengenai seberapa perlu URL tersebut dicrawl.
Paling tidak terdapat dua hal yang mempengaruhi dari Crawl Demand ini, yaitu sebagai berikut :
yang pertama adalah popularitas. Mungkin bentuk nyatanya adalah URL yang banyak dikunjungi. URL yang lebih populer di Internet cenderung lebih sering dirayapi agar lebih segar dalam indeks kami.
Yang kedua adalah konten yang kadaluarsa. Konten kadaluarsa di sini maksudnya adalah konten yang sudah tidak sesuai dengan apa yang diinginkan pengguna Google karena konten tersebut sudah lama tidak diupdate.
Referensi
Jika anda memiliki pertanyaan, saran atau kritik sekalipun, jangan sungkan untuk menuliskan dikolom komentar ya, agar saya dapat melakukan perbaikan.
Demikianlah artikel tentang crawl budget. Semoga bermanfaat
