Googlebot Kılavuzu
- Googlebot, Google tarafından kullanılan web tarayıcıdır. Bütün sitelerin yer aldığı evreni sürekli tarar.
- Google tarafından web sayfalarını bulmak ve onları sisteme dahil etmek için kullanılır.
- Googlebot tarafından toplanan bilgiler Google dizinini sürekli güncellemek için kullanılır.
- Googlebot milyarlarca web sayfasını sürekli tarar ve onların içerik ve güncellemelerini kullanıcıya takdim eder.
Googlebot ne yapar?
- Googlebot, web sayfalarının içeriğini (web sayfasını oluşturan kelimeleri, kodları ve kaynakları) toplar.
- Elde ettiği içeriğin başka yerlere bağlantısı varsa bunları not eder.
- Daha sonra bütün bu bilgileri Google’a gönderir.
Googlebot ve Web Sitemiz
Googlebot’un gönderdiği bilgiler Google dizinine eklenir ve güncellemeler gerçekleşir.
Google dizini, web sayfalarının karşılaştırıldığı ve sıralandığı yerdir.
- Web sayfalarınızın Google’da bulunabilmesi için Googlebot’un sitenizi görmesi gerekir.
- Web sayfalarınızın en iyi şekilde sıralanması ve görülmesi için tüm web içeriğinizin Googlebot tarafından erişilebilir olması gerekir.
Googlebot ve Google dizini arasındaki farklar
Googlebot
- Googlebot, web’den içerik toplar.
- Googlebot içerikle ilgili herhangi bir yargı veya karar vermez, yalnızca onu toplar.
- Googlebot sadece “Bu içeriğe erişebilir miyim?” ve “Erişebileceğim başka içerik var mı?” sorularını sorar.
Google dizini
- Google dizini ise Googlebot’tan aldığı içeriği ve sayfaları sıralar.
Google tarafından sıralanmanın ilk adımı Googlebot tarafından taranmaktır.
Googlebot’un sayfalarımızı görmesini nasıl sağlarız?
Googlebot, Google’ın dizinlerini güncellemesinin yolu olduğundan, Googlebot’un sayfalarınızı görebilmesi önemlidir.
Bir webmaster’ın sorması gereken temel sorular şunlardır…
- Googlebot sayfalarımı görebiliyor mu?
- Googlebot tüm içeriğime ve bağlantılarıma tamamen erişebiliyor mu?
- Googlebot tüm sayfa kaynaklarına erişebiliyor mu?
Hadi bu sorulara daha yakından bakalım…
1. Google sayfalarımı görebiliyor mu?
Google araması yapın …
Örneğin: “site:mottoplanet.com”
Alan adınızın önüne “site:” yazarak Google’ın siteniz için dizine eklediği sayfaları listelemesini isteyeceksiniz.
Önemli: Bunu yaptığınızda “site:” ile alan adınız arasında boşluk olmadığından emin olun.
Eğer beklediğinizden daha az sayfa görürseniz, Googlebot’un sizi engellemediğinden emin olun. Bunun sorumlusu robots.txt olabilir. (robots.txt dosyasını aşağıda anlatacağız.)
2. Googlebot tüm içeriğime ve bağlantılarıma tamamen erişebiliyor mu?
Bir sonraki adım, Google’ın içeriğinizi ve bağlantılarınızı doğru görmesini sağlamaktır.
Googlebot’un sayfalarınızı görebilmesi, Google’ın bu sayfaların tam olarak ne içerdiği hakkında ki fikrinin tam olarak oluştuğu anlamına gelmez.
Googlebot, bir web sitesini insanlar gibi görmüyor. Siz bir sitede resim görüyorsunuz fakat Googlebot’un gördüğü şey yalnızca bu resmi çağıran koddur. Googlebot sadece kodu görür.
Googlebot web sayfanızı “nasıl” görüyor?
Googlebot web sayfalarınızı bir bütün olarak görmez tek tek bileşenlerini görür.
Bu bileşenlerden herhangi biri Googlebot’a erişemez ve Googlebot bunları göremez ise bunlar Google dizinine gönderilmez.
Googlebot bir web sayfasını (html ve css) görür. Eklediğiniz resim, video vs… Googlebot’u ilgilendirmez.
Bir web sayfasının birçok parçası vardır. Google’ın web sayfalarınızı en iyi şekilde anlayabilmesi ve sıralayabilmesi için Google’ın sitenizin tam bir resmine ihtiyacı vardır.
Googlebot’un web içeriğine erişemeyebileceği bazı durumlar vardır. Bunlar çoğunlukla aşağıdaki sorunlardır.
- Kaynak robots.txt tarafından engellenmek
- Sayfa bağlantıları okunamıyor ve hatalı
- Flash kullanmak ve kullanocıların sorun yaşayabileceği diğer teknolojilere aşırı güvenmek
- Bozuk HTML veya kodlama hataları
- Aşırı derecede karışık dinamik bağlantılar
Bu sorunların çoğu, birtakım SEO toollarını kullanarak hızlı bir şekilde kontrol edebilirsiniz.
Google hesabınız varsa, Google Search Console’da bulunan “getir ve oluştur” aracını kullanabilirsiniz. Bu araç size yardımcı olacaktır.
3. Googlebot, tüm sayfa kaynaklarıma erişebiliyor mu?
Eğer CSS ve javascript dosyaları robots.txt dosyanız tarafından engelleniyor ise Googlebot web sayfanızın içeriğiyle ilgili yanlış bir fikre sahip olabilir. Bir web sayfasının içeriği ile sayfa kaynakları birbirinden farklı ise ya da farklı algılanıyor ise bu olabileceklerin en kötüsüdür.
Googlebot’u kontrol edebilir miyim?
Evet.
Googlebot, robots.txt dosyalarından aldığı talimatları izler ve Google’a özgü gelişmiş standartları kullanarak bunları kontrol eder.
Googlebot’u kontrol edebilmenin bazı yolları şunlardır…
- robots.txt dosyası kullanma
- Web sayfalarınızın meta verilerinee robot talimatlarını dahil etme
- Başlıklarınıza robot talimatlarını dahil etme
- Site haritalarını kullanma
- Google Search Console kullanma
En yaygın yol, robots.txt dosyalarını kullanmaktır.
Robots.txt dosyası nedir?
Robots.txt dosyası, Googlebot gibi arama motoru tarayıcılarının (bunlara örümcek de denilmekte) web sayfalarınızı nasıl gördüğünü ve nasıl etkileşimde bulunduğunu kontrol eder. Sitenizin kök dizininde bulunan bir klavuz dosyadır ve olmazsa olmazdır. Kısacası, bir robots.txt dosyası Googlebot’a, Googlebot’un sayfalarınızı ziyaret ettiğinde ne yapması gerektiğini, nelere erişip nelere erişmemesi gerektiğini söyler.
Web sitenizde Robots.txt dosyanızın olup olmadığını SEO Tools hizmeti veren birçok web sitesinden kontrol edebilirsiniz.
Google’ın, bu konudaki talimatlarından bahseden birkaç kaynakta burada:
- robots.txt dosyası hakkında bilgiler
- Google’ın robots.txt’i nasıl ele aldığıyla ilgili teknik bilgiler
- Meta etiketleri ve başlıkları
Site Haritaları ve Googlebot
Site Haritaları, Googlebot’un web sitenizi anlamasına yardımcı olabileceğiniz bir yoldur.
Site haritası, sitenizin web sayfalarını listelemek için Google ve diğer arama motorlarına site içeriğinizin düzenlenmesi hakkında bilgi verebileceğiniz bir dosyadır. Googlebot gibi arama motoru web tarayıcıları sitenizi daha akıllıca taramak için bu site haritalarını kullanır.
Site haritasını Google Search Console kullanarak veya WordPress sitemap eklentisini indirerek kolaylıkla yapabilirsiniz.
Bu linkte nasıl yapılacağı anlatılıyor. Tıkla
Googlebot ve Google Search Console
Googlebot’u kontrol edebileceğiniz başka bir araç ise Google Search Console’dur.
Googlebot web sitenizi çok hızlı bir şekilde tarıyor ise tarama hızını değiştirebilirsiniz. Ayrıca, Googlebot’un web sitenize nasıl eriştiğini, robots.txt dosyanızı nasıl test ettiğini, tarama hatalarını ve Google’ın web sayfalarınızı nasıl gördüğünü anlamanıza yardımcı olacak “getir ve oluştur” gibi işlemleri gerçekleştirebilirsiniz.
Kaç tane Googlebot / Google web tarayıcısı vardır?
Dokuz farklı Googlebot/Google web tarayıcısı vardır. Bunlar:
- Googlebot (Google Web search)
- Google Smartphone
- Google Mobile (Feature phone)
- Googlebot Images
- Googlebot Video
- Googlebot News
- Google Adsense
- Google Mobile Adsense
- Google Adsbot
Bunlar hakkındaki detaylı bilgileri şurada bulabilirsiniz.
Googlebot’un dilleri ve yerleri algılaması
Eğer siteniz farklı diller veya içerik gösteriyorsa, Googlebot’un bunları doğru algılamasını sağlayın. ( hreflang kullanmanızı öneririz ki Google’da bunu önermektedir)
Googlebot’un dil ve yer tabanlı içeriğinizi doğru algılamasını sağlayın. Kullanıcılar sayfanızı ziyaret ettiğinde yer veya dil tabanlı bir çözümünüz varsa, İtalya’daki bir kullanıcı İtalyan içeriğini görecek ve Türkiye’deki bir kullanıcı Türkçe içeriğinizi görecektir.
Bu sonraki makalemiz buradadır.
