Robots.txt dosyası nedir?

Robots.txt dosyası nedir?

• Robots.txt dosyası, Googlebot’a bir dosyaya erişip erişmemesini söyleyen basit bir metin dosyasıdır .

Temel robots.txt örnekleri

Burada bazı yaygın robots.txt kurulum örnekleri vardır. Not: Aşağıda ayrıntılı olarak açıklanacaktır.

Tüm erişimi engelle

Bir klasörü engelle

Neden robots.txt dosyalarının nasıl kullanılacağını öğrenmelisiniz?

• Robots.txt dosyasının yanlış kullanımı, sıralamanıza zarar verebilir.
• Robots.txt dosyası, arama motorlarının web sayfalarınızı nasıl gördüğünü ve nasıl etkileşimde bulunulduğunu kontrol eder.
• Bu dosya ve botlar sürekli etkileşimde bulunur, arama motorlarının temel çalışma alanları bu dosyalardır.

Arama motoru örümcekleri

Googlebot gibi bir arama motoru örümceğinin ilk olarak bir sayfayı ziyaret ettiğinde ilk baktığı şey robots.txt dosyasıdır.

Bunu yapar, çünkü bu sayfaya veya dosyaya erişim izni olup olmadığını bilmek ister. Robots.txt dosyası girebileceğini söylerse, arama motoru örümceği sayfa dosyalarına girer ve yoluna devam eder.

Bir arama motoru robotuna ilişkin talimatlarınız varsa, bu talimatları belirtmeniz gerekir. Bunu yaptığınız yer ise robots.txt dosyasıdır. 

Bir robots.txt dosyamız olup olmadığını nasıl belirleriz.

Herhangi bir tarayıcıdan robots.txt dosyanız olup olmadığını kontrol edebilirsiniz. Bunu yapmak için site adınızın sonuna robots.txt yazmanız yeterlidir.

Örnek www.sitenizinadı.com/robots.txt

Bir dosyanız varsa, bu sizin robots.txt dosyanızdır.  Yoksa bir dosya bulamazsınız. Endişelenmeyin. Okumaya devam edin.

Robots.txt dosyanızın önemli dosyalarınızı engelleyip engellemediğini belirleyin.

Robots.txt dosyanızı test etmek için Google Search Console kullanabilirsiniz. Burada hangi dosyalarınızın engellendiğini açık şekilde görebilirsiniz.

Bir robots.txt dosyasına ihtiyacınız var mı?

Sitenizde bir robots.txt dosyasının olması bile gerekmeyebilir. Aslında çoğu zaman ihtiyacınız da yok. Bir robots.txt dosyası bulunmadığında endişelenmeyin. Olmasa da Googlebot gibi arama motoru robotlarının sitenize tam erişimi olacaktır. Bu en yaygın olan normal ve basit bir yöntemdir. Hatta en çok kullanılan yöntemdir.

Bir robots.txt dosyasına sahip olmak isteyebileceğiniz nedenler:

• Arama motorlarının taramasını istemediğiniz içerikleriniz var
• Robotlar için özel talimatlar gerektiren ücretli bağlantılar veya reklamlar kullanıyorsunuz.
• Saygın robotlardan sitenize erişiminizi hassas bir şekilde ayarlamak istiyorsunuz
• Dinamik bir site geliştiriyorsunuz, ancak arama motorlarının henüz dizine eklemesini istemiyorsunuz

Robots.txt dosyası nasıl oluşturulur

Yazabilir veya kopyalayıp yapıştırabilirseniz. Robots.txt sadece bir metin dosyasıdır. Bu herhangi bir düz metin düzenleyicisi kullanabileceğiniz anlamına gelir.  Hepsi bu ama yine de dikkatli olmalısınız.