Untuk membandingkan data crawling Google pada beberapa website, Anda bisa fokus pada beberapa metrik utama yang tersedia melalui Google Search Console atau alat SEO lainnya seperti Ahrefs, SEMrush, atau Screaming Frog. Berikut adalah metrik penting dan apa yang perlu diperhatikan:
1. Jumlah Halaman yang Di-Crawl per Hari
- Data: Jumlah halaman yang di-crawl Google setiap hari.
- Apa yang Dipelajari:
- Apakah website Anda memiliki crawl rate yang stabil?
- Apakah website dengan lebih banyak halaman mendapatkan perhatian Google lebih besar?
Bandingkan:
- Website besar (misalnya e-commerce) cenderung memiliki crawl rate yang lebih tinggi dibandingkan blog kecil.
- Website dengan struktur navigasi yang buruk atau banyak error mungkin memiliki crawl rate yang rendah.
2. Crawl Budget
- Data: Total jumlah halaman yang bisa di-crawl oleh Googlebot dalam periode tertentu.
- Apa yang Dipelajari:
- Apakah website Anda memanfaatkan crawl budget dengan baik?
- Apakah Google menghabiskan waktu pada halaman yang relevan?
Bandingkan:
- Website dengan banyak halaman berkualitas dan sedikit error memanfaatkan crawl budget lebih efisien.
- Website dengan banyak error (404 atau redirect loops) biasanya membuang crawl budget.
3. Error Crawling
- Data: Error seperti 404 (Not Found), 500 (Server Error), atau redirect error yang ditemukan Google.
- Apa yang Dipelajari:
- Seberapa bersih struktur website Anda dibandingkan website lain.
- Apakah error menghambat indexing?
Bandingkan:
- Website yang lebih terawat biasanya memiliki lebih sedikit error crawling.
4. Coverage (Status Indexing)
- Data: Statistik tentang jumlah halaman yang diindeks, di-exclude, atau memiliki error.
- Apa yang Dipelajari:
- Berapa banyak halaman yang berhasil diindeks Google.
- Apakah ada pola pada halaman yang tidak diindeks?
Bandingkan:
- Website dengan lebih banyak konten unik dan relevan akan memiliki lebih banyak halaman terindeks.
5. Kecepatan Crawl
- Data: Waktu yang dihabiskan Google untuk crawling halaman Anda (ms/page).
- Apa yang Dipelajari:
- Apakah website Anda memiliki performa yang cukup baik untuk crawling cepat?
Bandingkan:
- Website yang lebih cepat cenderung mendapatkan crawling yang lebih efisien.
6. Frekuensi Update Sitemap
- Data: Frekuensi Anda memperbarui sitemap XML.
- Apa yang Dipelajari:
- Apakah website Anda rutin memberi tahu Google tentang halaman baru atau yang diperbarui?
Bandingkan:
- Website yang mengirimkan sitemap secara teratur lebih mungkin memiliki halaman baru yang di-crawl dengan cepat.
7. Backlink dan Internal Link
- Data: Jumlah backlink dan kualitas internal link.
- Apa yang Dipelajari:
- Apakah backlink memengaruhi prioritas crawling?
- Apakah halaman dengan internal link yang buruk diabaikan Google?
Bandingkan:
- Website dengan profil backlink kuat dan struktur internal link baik cenderung lebih sering di-crawl.
Langkah untuk Melakukan Perbandingan:
-
Kumpulkan Data:
- Akses Google Search Console untuk masing-masing website dan unduh data crawling dari laporan Crawl Stats.
- Gunakan alat pihak ketiga seperti Ahrefs untuk analisis lebih lanjut.
-
Buat Matriks Perbandingan:
Contoh matriks:
| Website |
Crawl Rate |
Indexed Pages |
Errors |
Crawl Speed |
Backlinks |
| Website A |
1.000/day |
20.000 |
5 |
200ms/page |
50.000 |
| Website B |
500/day |
10.000 |
50 |
500ms/page |
10.000 |
-
Analisis Pola:
Perhatikan hubungan antara kualitas konten, struktur, dan frekuensi crawling.
Berikut ini contoh tampilan data crawing beberapa website dari Google Search Console:
2. website
maskkn.my.id3. Website
nunu.my.id4. Web
imam.mercubuana-yogya.ac.id
