Robots.txt dosyası, arama motorlarına ne yapacağını söyleyen; hangi sayfaların indexe kapalı, hangilerini tarayabileceği, sitemap.xml vs.. gibi robots.txt dosyasıdır. Robots.txt dosyası siteniz için önem arz ettiği için dikkatle hazırlanmalıdır.
Robots.txt dosyası içinde belli komutlar bulunan özel bir dosyadır. Bu dosya siteden siteye değişkenlik gösterirken, wordpress sitelerde aynı olabilir. Eğer robots.txt dosyası yanlış şekilde hazırlanırsa siteniz için belli sorunlar çıkacaktır. Örneğin google botlarının sepet kısmına girmemesi yerine sitenizin ana sayfasını seçerseniz sitenizin ana sayfası arama motorlarında gözükmez.
Robots.txt dosyası arama motorlarının botları sitenize girdiğinde hangi bölümü indexleyip, hangi bölümü indexlemeyeceğini belirtir. Örneğin bir wordpress site kullanıyorsanız, admin giriş yolunu robots.txt üzerinden arama motorlarına engellemeniz gerekir. Yoksa sitenizin ismi arandığında siteadi.com/wp-admin diye kullanıcının önüne çıkabilir.
Robots.txt dosyası her site için özel hazırlanmalı. Örneğin bir e-ticaret siteniz varsa sitenizin sepet bölümünü arama motorlarının ziyaret etmesine gerek yok. Ama sitenizin ana sayfası arama motorlarında gözükmesi olumlu olduğu için robots.txt üzerinden arama motorlarına izin vermelisiniz.
Robots.txt dosyasını oluşturmak için öncelikle siteniz aktif halde olması gerekir. Ondan sonra şu adımları takip ederek oluşturabilirsiniz.
Örneğin wordpress admin girişi için /wp-admin yazabilirsiniz. Eğer yine engellemek istediğiniz yerler varsa, yeni satır butonuna tıklayıp, 3-4 adımları tekrar yapıp, engellemek istediğiniz bölümü girebilirsiniz.
Robots.txt dosyası örneği için r10.net/robots.txt yazıp bakalım.
User-agent: * Disallow: /yonlendir/ Disallow: /login.php Disallow: /misc.php Disallow: /online.php
Sitemap: https://www.r10.net/sitemap.xml
Sitemap: https://www.r10.net/sitemap_index.xml
Dosyaya baktığımızda /yonlendir, /login.php, /misc.php, /online.php bölümlerini arama motorlarının taramasına izin vermiyor. Onun dışındaki tüm bölümlere izin verilmiş durumda.
Şimdi bir e-ticaret sitesinin robots.txt dosyasına bakarsak;
User-agent: * Disallow: /*/*-p-*/satici-sorulari Disallow: /*/*-p-*/saticilar Disallow: /*/*-p-*/saticiya-sor Disallow: /*/*-p-*/yorum-yap Disallow: /*/*-p-*/yorumlar Disallow: /authentication/logout Disallow: /c/sepetim Disallow: /diger-saticilar Disallow: /giris Disallow: /hesabim Disallow: /Hesabim Disallow: /login Disallow: /Login Disallow: /onceden-gezdiklerim Disallow: /siparislerim Disallow: /sanaozel Disallow: /sepetim Disallow: /Sepetim
Bu sitede arama motorları için gereksiz çoğu yer engellenmiş. Örneğin sepetim bölümü /sepet bölümünü arama motorlarının indexlemesine gerek yok, o yüzden arama motorlarına kapatılmış durumda.
Robots.txt dosyası sitenizin ana dizininde bulunur. siteadi.com/robots.txt yaparak erişebilirsiniz kolaylıkla. Eğer erişemiyorsanız sitenizde robots.txt mevcut değil demektir.
Robots.txt dosyası oluşturma aracı tamamen ücretsiz ve kullanımı oldukça kolaydır. Engellemek istediğiniz bölümü girerek kolay şekilde oluşturabilirsiniz.
Robots.txt dosyası kullanımı zorunlu değil. Ama hem site sağlığı hemde google index sayınız için robots.txt dosyası kullanmak oldukça faydalıdır.
Google Robots.txt dosyanızı siz iletmeden de görebilmektedir. Bu yüzden herhangi bir ekstra işlem yapmanız gerek yoktur.
