Tüm arama motorları tarafından ortak olarak kabul edilen robots.txt, bir web sitesinde hangi kısımların indexlenip hangi kısımların indekslenmesi gerektiğini gösteren bir metin dosyasıdır. Robots.txt dosyası web siteniz için oldukça önemli olduğundan mutlaka büyük bir dikkatle hazırlanmalıdır.
İçinde belli komutlar bulunan bu özel dosya, wordpress sitelerde aynı olabilirken siteden siteye değişkenlik de gösterebilir. Robots.txt dosyasının yanlış şekilde hazırlanması, web siteniz için bazı sorunlara yol açabilir. Örnek vermek gerekirse; Google botlarının sepet bölümüne girmemesi yerine ana sayfayı seçerseniz, web sitenizin ana sayfasının arama motorlarında görünmesini engellemiş olursunuz.
Robots.txt Hangi Amaçla Kullanılır?
Robots.txt’nin başlıca kullanım alanı, arama motoru botları internet sitenize girdiğinde hangi bölümün indexlenip hangisinin indeksleymeyeceğini belirtmektir. Örneğin; Wordpress tabanlı bir internet sitesi kullanıyorsanız, robots.txt üzerinde admin giriş yolunu, arama motorlarına engellemelisiniz. Aksi halde web sitenizin ismi arandığında kullanıcıların önüne “siteadi.com/wp-admin” olarak çıkabilir.
Robots.txt Dosyası Hangi Özelliklere Sahip Olmalı?
Öncelikle her web sitesi için özel olarak robots.txt dosyası hazırlanması gerekir. Örneğin; bir e-ticaret sitesine sahipseniz, arama motorlarının sitenizin sepet bölümünü ziyaret etmesi gerekmez. Ancak web sitenizin ana sayfasının arama motorlarında görünmesi faydalı olacağından robots.txt üzerinden arama motorlarına izin vermelisiniz.
Robots.txt Oluşturucu Nasıl Kullanılır?
Robots.txt oluşturucu aracımızı kullanmanız için öncelikle sitenizin aktif halde olması gerektiğini unutmamalısınız.
Bu web sitesinde, arama motorları için gereksiz olan pek çok yerin engellendiğini görebiliriz. Örneğin; siparişlerim bölümünün arama motorları tarafından indexlenmesi gerekmez, bu nedenle arama motorlarına kapatılmış durumdadır.
Sıkça Sorulan Sorular
Robots txt. dosyası kullanmak zorunlu değildir. Ancak hem Google index sayısı hem de web sitesinin sağlığı için robots.txt dosyası kullanmanın faydaları oldukça fazladır.
Robots.txt dosyası, web sitenizin ana dizininde yer alır. “siteadi.com/robots.txt” yaparak web sitenizin robots.txt dosyasına ulaşabilirsiniz. Dosyaya erişemiyorsanız, sitenizde robots.txt dosyası bulunmuyor demektir.
Robot.txt dosyanız, sizin iletmenize gerek kalmadan Google tarafından görülebilir. Dolayısıyla herhangi bir ek işlem yapmanız gerekmez.
Oldukça kolay bir kullanıma sahip olan robots.txt oluşturma aracımızı kullanmak tamamen ücretsizdir. Engellemek istediğiniz kısmı, aracımızda ilgili yere girerek kolayca robots.txt dosyanızı oluşturabilirsiniz.
