Ada dua alasan kenapa Googlebot tidak merayapi semua halaman website Anda. Hal ini disampaikan langsung oleh John Muller dalam acara Google Office Hours pada tanggal 16 Juli 2021.
Hal ini menjadi penting, karena proses Crawl adalah tahap pertama dari tiga tahap cara kerja search engine. Setelah proses Crawl ini selesai, maka akan dilanjutkan dengan Indexing dan kemudian Ranking.
Berikut ini penjelasan lengkapnya yang saya ambil dari jawaban John Muller, Jadi ini bukan pendapat pribadi saya, melainkan tanggapan resmi dari Google.
Kecepatan Server
Alasan pertama yang disebutkan oleh John Muller adalah mengenai kecepatan website. Kecepatan server berpengaruh langsung terhadap keputusan Googlebot untuk merayapi suatu website.
Semakin lambat respon suatu server, maka semakin sedikit pula jumlah halaman yang akan dirayapi oleh Google. Hal ini biasa dikenal dengan istilah Crawl Budget.
Crawl Budget adalah jumlah halaman yang akan dirayapi Google di situs Anda pada hari tertentu. Jumlah ini dapat berbeda dari hari ke hari, namun secara umum, jumlahnya relatif stabil.
Google akan menetapkan batasan jumlah halaman yang boleh di crawl oleh Googlebot. Batasan ini dikenal dengan istilah Crawl Rate Limit.
Crawl Rate Limit adalah batasan yang ditetapkan oleh Google dalam melakukan proses crawl agar tidak menggangu pengalaman pengguna atau user experience.
Jadi bukan karena Google tidak mampu melakukan proses crawl, tapi karena mempertimbangkan pengalaman pengguna. jika servernya sudah lambat, maka Google tidak akan melakukan banyak perayapan, agar tidak memberatkan server.
Jika web server anda merespons dengan cepat permintaan dan Googlebot maka untuk sementara waktu, batasnya naik, yang berarti lebih banyak koneksi dapat digunakan untuk merayapi.
Tapi jika web server anda melambat atau bahkan mengirimkan pesan error, maka batasnya turun dan Googlebot akan mengurangi proses crawlnya.
Respon Server
Informasi mengenai berapa lama respon server Anda dapat Anda lihat pada laporan di Search Console. buka bagian Setting, kemudian pilih menu Crawl dan selanjutnya pilih Crawl Stats.
Pada laporan tersebut anda dapat menemukan kecepatan respon server dan jumlah halaman yang dicrawl oleh Google setiap harinya.
Anda juga dapat menemukan data tersebut pada Google Analytics khususnya versi Universal Analytics, bukan GA4 ke atas.
Berapa Kecepatan Server Response Time Yang Ideal?
John Muller menjelaskan pada acara tersebut bahwa kecepatan server response time itu berkisar 300-400 milidetik, Berikut ini petikan jawaban John Muller.
Di satu sisi jika server sangat lambat, yaitu … waktu respons, saya pikir Anda juga melihatnya di laporan statistik perayapan.
Itu adalah satu area di mana jika… seperti jika saya harus memberi Anda sebuah angka, saya akan mengatakan bidik untuk sesuatu di bawah 300, 400 milidetik, rata-rata seperti itu.
Karena itu memungkinkan kita untuk merangkak sebanyak yang kita butuhkan.
Ini tidak sama dengan kecepatan halaman.
Jadi itu… satu hal yang harus diwaspadai.”
John Muller
Nah itulah faktor yang pertama, kita lanjut pembahasannya ke faktor yang kedua.
Kualitas Website
Proses Crawl itu dilakukan secara perlahan. Pada website baru, Googlebot mulai dengan satu URL kemudian ditambah sambil mengamati response time dari server dan kualitas websitenya.
Untuk situs yang sudah berjalan, hindari untuk menambahkan banyak konten dalam satu waktu. Hal ini dapat menyebabkan lambatnya konten untuk crawl. Hal ini harus jadi perhatian Anda.
Itu semua karena crawl budget dari website Anda tidak serta merta naik, dengan banyaknya konten baru yang Anda tambahkan.
Selain itu Google juga menilai kualitas dari website Anda, Jika Google tidak yakin dengan kualitas suatu website, maka proses Crawl pun akan melambat hingga Google yakin dengan kualitas website secara keseluruhan.
Jadi catatan pentingnya adalah, perhatikan kualitas website Anda. Jangan sampai website Anda memiliki ciri-ciri website berkualitas rendah seperti web spam, web iklan atau yang lainnya.
