Web sitelerindeki sayfaların Google tarafından düzenli olarak keşfedilmesi ve değişikliklerin fark edilmesi, teknik SEO süreçlerinin önemli parçalarından biridir. Google her URL’yi aynı sıklıkta ziyaret etmez. Bazı sayfalar kısa aralıklarla yeniden taranırken bazı URL’lerin tekrar ziyaret edilmesi çok daha uzun sürebilir. Tarama sıklığı zaman içerisinde de değişebilir.
Googlebot’un bir sayfayı daha az taramaya başlaması tek başına teknik bir problem olduğunu göstermez. Google, tarama kaynaklarını verimli kullanmak için sitenin yapısını, içerik değişikliklerini, sunucu kapasitesini ve URL’lere yönelik tarama ihtiyacını değerlendirebilir. Belirgin bir düşüş fark edildiğinde ise değişimin sayfa bazında mı yoksa sitenin genelinde mi yaşandığını anlamak önemlidir.
Googlebot Tarama Sıklığını Nasıl Belirler?
Google, bir sitenin ne kadar taranacağını belirlerken temel olarak tarama kapasitesi ve tarama ihtiyacı gibi unsurları değerlendirir.
Google’ın dokümantasyonunda büyük siteler için tarama bütçesi açıklanırken crawl capacity limit ve crawl demand kavramları öne çıkar.
Tarama kapasitesi, Google’ın siteyi sunucuyu zorlamadan ne kadar tarayabileceğiyle ilişkilidir. Tarama ihtiyacı ise Google’ın belirli URL’leri yeniden ziyaret etmeye ne kadar ihtiyaç duyduğuyla bağlantılıdır.
Dolayısıyla Googlebot’un her sayfayı günlük veya haftalık olarak taraması beklenmemelidir.
Sayfanın Uzun Süre Güncellenmemesi
Bir sayfada uzun süre anlamlı bir değişiklik gerçekleşmemesi, yeniden tarama ihtiyacının azalmasına katkıda bulunabilir.
Örneğin yıllardır aynı bilgileri sunan ve nadiren değişen bir kurumsal sayfa ile fiyatı, stok durumu veya temel bilgileri düzenli değişen bir ürün sayfasının yeniden tarama ihtiyacı aynı olmayabilir.
Google zaman içinde sayfalardaki değişim düzenini öğrenebilir. Sık ziyaret edildiği halde sürekli aynı içerikle karşılaşılan URL’lerin yeniden taranmasına daha az ihtiyaç duyulabilir.
Sayfanın Algılanan Tarama İhtiyacının Azalması
Google’ın tarama sistemleri hangi URL’lerin yeniden ziyaret edilmesinin daha gerekli olduğunu belirlemeye çalışır. Google’ın açıklamalarına göre URL’nin popülerliği ve içeriğin güncelliğini yitirmesi gibi faktörler crawl demand üzerinde rol oynayabilir.
Bir URL’nin Google açısından yeniden tarama ihtiyacı azaldığında Googlebot ziyaretlerinin arasındaki süre uzayabilir.
Bu noktada yapay biçimde sayfa tarihini değiştirmek veya içeriğe değer katmayan küçük düzenlemeler yapmak doğru bir yöntem değildir. Gerçek bir güncelleme varsa içeriğin kendisinin anlamlı biçimde yenilenmesi daha sağlıklı bir yaklaşımdır.
Sunucu Sorunları Googlebot Taramasını Etkiler mi?
Evet. Sunucunun Googlebot isteklerine verdiği yanıtlar tarama kapasitesini etkileyebilir.
Googlebot siteyi tararken sunucuda yavaşlama veya erişim problemi gözlemlerse tarama hızını azaltabilir. Özellikle 5xx sunucu hataları, bağlantı zaman aşımları ve sunucunun isteklere yavaş yanıt vermesi incelenmesi gereken teknik sinyallerdir.
Robots.txt Değişiklikleri Kontrol Edilmeli
Tarama sayısında beklenmedik bir düşüş görüldüğünde robots.txt dosyası kontrol edilmesi gereken ilk teknik alanlardan biridir.
Yanlış eklenen bir “disallow” kuralı Googlebot’un belirli dizinlere erişmesini engelleyebilir. Özellikle site güncellemesi veya taşıma çalışması sonrasında robots.txt dosyasındaki değişiklikler gözden geçirilmelidir.
URL’lerin Erişilebilirliği Değişmiş Olabilir
Bir sayfanın teknik durumu zaman içerisinde değişebilir. Daha önce 200 HTTP durum kodu döndüren bir URL farklı bir yanıt vermeye başlayabilir.
Kontrol edilmesi gereken durumlar arasında:
- 301 veya 308 yönlendirmeleri
- 404 yanıtları
- 410 yanıtları
- 5xx sunucu hataları
- Yönlendirme zincirleri
- Yönlendirme döngüleri bulunur.
Örneğin bir URL kalıcı olarak başka bir adrese yönlendirilmişse Google zaman içerisinde eski URL yerine hedef URL’ye odaklanabilir. Eski adresin daha az taranması böyle bir senaryoda normaldir.
İç Link Yapısındaki Değişiklikler Etkili Olabilir
Internal linking, Google’ın site içindeki URL’leri keşfetmesine ve aralarındaki ilişkileri anlamasına yardımcı olur. Önemli bir sayfaya verilen iç bağlantıların kaldırılması veya sayfanın site mimarisinin daha derin bir noktasına taşınması keşif ve tarama süreçlerini etkileyebilir.
Örneğin bir kategori sayfası daha önce ana menüden doğrudan erişilebilirken daha sonra yalnızca birkaç alt sayfadan bağlantı almaya başladıysa sayfanın site içindeki bağlantı yapısı değişmiş olur.
Bu nedenle tarama düşüşlerinde yalnızca ilgili URL değil URL’ye yönelen iç bağlantılar da incelenmelidir.
XML Sitemap Yapısı Kontrol Edilmeli
XML Sitemap, arama motorlarına taranmasını ve dizine alınmasını istediğiniz canonical URL’ler hakkında bilgi sunmaya yardımcı olur. Önemli bir sayfanın sitemap’ten yanlışlıkla çıkarılması, Google’ın URL’yi artık taramayacağı anlamına gelmez. Google sayfayı iç linkler veya farklı kaynaklar üzerinden keşfetmeye devam edebilir.
Yine de önemli canonical URL’lerin sitemap içerisinde doğru biçimde bulunması önerilir. Özellikle büyük e-ticaret sitelerinde sitemap yönetiminin otomatik ve doğru çalışması önem taşır.
Yinelenen URL’ler Tarama Verimliliğini Etkileyebilir
E-ticaret ve büyük ölçekli web sitelerinde filtreler, sıralama seçenekleri, oturum parametreleri ve benzer sistemler çok sayıda farklı URL oluşturabilir.
Bu tür yapılarda:
- Parametreli URL’ler
- Filtre kombinasyonları
- Yinelenen sayfalar
- Gereksiz takvim URL’leri
- Sonsuz URL alanları teknik açıdan incelenmelidir.
Sayfanın Daha Az Taranması Sıralama Kaybı Anlamına Gelir mi?
Hayır. Googlebot’un bir sayfayı daha seyrek ziyaret etmesi, sayfanın mutlaka organik sıralama kaybedeceği anlamına gelmez.
Tarama sıklığı ile sıralama aynı kavram değildir. Uzun süre değişmeyen ve kullanıcı sorgularına güçlü şekilde yanıt veren bir sayfa daha seyrek taransa da arama sonuçlarında görünmeye devam edebilir.
Sıralama kaybı yaşanıyorsa içerik kalitesi, rekabet, arama talebi, teknik durum, bağlantılar ve Google güncellemeleri gibi farklı faktörler birlikte incelenmelidir.
Googlebot Tarama Verileri Nereden Kontrol Edilir?
Google Search Console içerisindeki Tarama İstatistikleri (Crawl Stats) raporu, Googlebot’un site genelindeki tarama davranışını incelemek için kullanılabilir.
Raporda:
- Toplam tarama istekleri
- Toplam indirme boyutu
- Ortalama yanıt süresi
- Host durumu
- Yanıt kodları
- Googlebot türleri
- Tarama amacı gibi bilgiler değerlendirilebilir.
Tarama Sıklığını Artırmak İçin Neler Yapılabilir?
Googlebot’u belirli bir URL’yi belirli sıklıkta taramaya zorlayan bir SEO yöntemi bulunmaz. Bunun yerine sitenin teknik yapısının Google’ın verimli tarama yapabileceği şekilde düzenlenmesi gerekir.
Dikkat edilebilecek noktalar şunlardır:
- Sunucu performansını sağlıklı tutmak
- 5xx hatalarını gidermek
- Önemli sayfalara güçlü iç bağlantılar vermek
- Gereksiz URL oluşumunu kontrol etmek
- XML sitemap’i güncel tutmak
- Lastmod değerlerini yalnızca gerçek değişikliklerde güncellemek
- Robots.txt kurallarını düzenli kontrol etmek
- İçerikleri ihtiyaç olduğunda anlamlı şekilde güncellemek
URL Denetleme Aracı üzerinden dizine ekleme isteğinde bulunmak belirli durumlarda kullanılabilir, fakat sürekli yeniden tarama sağlamanın bir yöntemi olarak görülmemelidir.
