robots.txt pomáhá řídit chování vyhledávacích robotů.
robots.txt je textový soubor umístěný v kořenovém adresáři webu. Slouží ke komunikaci s vyhledávacími roboty a říká jim, které části webu mají procházet a které nikoli.
Příklad:
User-agent: * Disallow: /admin/
V tomto případě jsou všichni roboti požádáni, aby neindexovali složku /admin/.
Přestože dodržování robots.txt není vymahatelné, většina vyhledávačů ho respektuje. Nejde o bezpečnostní nástroj – nezabrání přístupu k citlivým datům, jen odrazuje roboty.