Robots.txt Nedir?
robots.txt, bir web sitesinin arama motoru robotlarına (crawler veya spider olarak da adlandırılır) hangi sayfaların taranabileceği veya taranamayacağı hakkında talimatlar veren bir metin dosyasıdır. Bu dosya, web sitesi sahiplerinin arama motorlarına nasıl davranması gerektiğini belirlemelerine yardımcı olur.