Plik robots.txt został stworzony z myślć o robotach wyszukiwarek. Informuje on automaty/ boty o tym, czego nie mogć robić na danej witrynie. Plik ten wprowadza się w katalogu, do którego jest przekierowana domena internetowa.
Wspomniane boty za pośrednictwem linków, wyszukujć nowe materiały w sieci i następnie indeksujć całć zawartość danej witryny.
Należy jednak pamiętać, że wgranie pliku robots.txt ogranicza dostęp do Twojej witryny powyższym robotom wyszukiwarek.