Jak powinien wyglądać plik robots.txt?
-
Jak powinien wyglądać plik robots.txt?
Najprostsza, przykładowa treść pliku robots.txt powinna wygląda np. tak:
User-agent: *Allow: /
Przykładowa treść pliku robots.txt w Sellingo może wygląda np. tak:User-Agent: *
Disallow: /public/libraries
Allow: /
Sitemap: http://ADRESTWOJEGOSKLEPU.pl/sitemap.xml
Gdzie Disallow wskazuje na bibliotekę, która nie musi być indeksowana i dodatkowo podany jest adres Sitemap sklepu, ułatwiający robotom indeksowanie witryny.
Więcej o pliku robots.txt znajdziesz np. na stronach:
