Robot je speciální softwarová aplikace, která prochází webové stránky za předem definovaným účelem. Nejběžnější jsou roboti internetových vyhledávačů, které shromažďují podklady pro vyhledávání (provádějí tzv. indexování webu). Dalším užitečným druhem robotů jsou ti, kteří kontrolují kvalitu webu z hlediska dodržování standardů, případně jej testují na výskyt slabých míst, která by mohla umožnit napadení webu kyberzločinci. Existují i roboti, kteří procházejí webem a těží z něho marketingově využitelné informace, například e-mailové adresy, které potom nabízejí pro účely e-mail marketingu (legálního i nelegálního). Někteří roboti se snaží o vkládání nevyžádaných příspěvků do chatů a webových diskuzí, které obvykle obsahují odkazy na weby s pochybným obsahem.
Pro roboty existují standardy, kterými by se měly řídit. Nelze se na to ovšem spolehnout. Nicméně „slušní" roboti velkých vyhledávačů tyto standardy dodržují. Pokud chce majitel webu robotům určit, které části webu jsou pro ně přístupné a které nikoli, může vytvořit soubor robots.txt, který umístí do hlavního adresáře webu (jeho adresa je tedy např. http://www.server.cz/robots.txt). Tento soubor může obsahovat sadu pravidel pro jednotlivé druhy robotů, například seznam adres, které mají ignorovat, případně odkaz na mapu webu určenou pro vyhledávače.
Obsah bylo dříve možné před roboty skrývat například pomocí dynamicky generovaného obsahu jazykem JavaScript, nejnovější generace robotů si ovšem dokáže poradit i s takovýmito dynamickými stránkami a načte je stejně jako běžný návštěvník s prohlížečem.