Robots.txt is een eenvoudig tekstbestand dat webmasters gebruiken om te communiceren met zoekmachine-crawlers. Het bestand vertelt crawlers welke delen van een website wel of niet mogen worden gecrawld.
Een robots.txt-bestand wordt opgeslagen in de rootmap van je website en bevat instructies in de vorm van regels. Bijvoorbeeld, een regel kan zoekmachines instrueren om een specifieke map of pagina over te slaan. Dit is vooral nuttig voor het beschermen van gevoelige gegevens of om te voorkomen dat dubbele content wordt geïndexeerd.
Stel je hebt een staging-site voor je website. Met een robots.txt-bestand kun je zoekmachines beletten deze site te indexeren. Een andere toepassing is het blokkeren van crawlers die te veel serverbelasting veroorzaken.
