Plik robots.txt to prosty plik tekstowy umieszczany w głównym katalogu strony internetowej, który informuje roboty wyszukiwarek (np. Googlebot), które zasoby serwisu mogą być indeksowane, a które powinny zostać pominięte. To jedno z podstawowych narzędzi technicznego SEO, które pozwala kontrolować widoczność strony w wynikach wyszukiwania.
W sklepie internetowym, np. opartym na PrestaShop, prawidłowa konfiguracja pliku robots.txt ma kluczowe znaczenie – chroni przed indeksowaniem niepotrzebnych podstron (np. filtrowania, koszyka, logowania), wspiera crawl budget i pomaga unikać duplikacji treści.
Co to jest robots.txt?
Robots.txt to plik, który roboty wyszukiwarek odczytują jako pierwszą instrukcję po wejściu na stronę. Na jego podstawie decydują, które zasoby witryny analizować i indeksować, a które pomijać.
Przykładowy adres pliku:
arduinoKopiujEdytujhttps://twojsklep.pl/robots.txt
Plik ten składa się z dyrektyw takich jak:
User-agent:– określa, do którego robota odnosi się reguła (np. Googlebot, * dla wszystkich),Disallow:– blokuje dostęp do określonej ścieżki lub katalogu,Allow:– umożliwia dostęp (opcjonalne w bardziej precyzyjnych konfiguracjach),Sitemap:– podaje lokalizację mapy strony (sitemap.xml).
Do czego służy plik robots.txt?
W praktyce plik robots.txt pozwala:
- zablokować indeksowanie panelu logowania, koszyka, filtrowania, historii zamówień,
- ochronić powielające się lub techniczne adresy URL (np. z parametrami),
- skierować roboty do odpowiedniej mapy strony,
- zapobiec marnowaniu budżetu indeksowania (crawl budget),
- zwiększyć kontrolę nad strukturą i hierarchią witryny.
Przykład pliku robots.txt dla sklepu PrestaShop
Poniżej znajdziesz bezpieczną, zoptymalizowaną wersję pliku robots.txt dla standardowej instalacji PrestaShop:
makefileKopiujEdytujUser-agent: *
Disallow: /app/
Disallow: /bin/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /var/
Disallow: /vendor/
Disallow: /cache/
Disallow: /classes/
Disallow: /controllers/
Disallow: /docs/
Disallow: /install/
Disallow: /admin*/
Disallow: /login
Disallow: /cart
Disallow: /order
Disallow: /search
Disallow: /password-recovery
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*controller=*
Sitemap: https://twojsklep.pl/sitemap.xml
Uwaga: Ścieżki mogą się różnić w zależności od wersji PrestaShop i struktury Twojego sklepu. Zawsze wykonaj test indeksowania po każdej zmianie.
Robots.txt a indeksowanie i SEO
Wbrew pozorom zablokowanie strony w robots.txt nie oznacza, że nie pojawi się ona w wynikach Google – może być zindeksowana, ale bez treści. Jeśli chcesz całkowicie wykluczyć stronę z indeksu, lepiej użyć tagu noindex w kodzie HTML (który zadziała tylko, jeśli robot ma dostęp do strony).
Dlatego używaj robots.txt głównie do ograniczania dostępu do folderów technicznych i powielonych adresów, a nie do blokowania cennych treści.
Jak edytować plik robots.txt w PrestaShop?
W PrestaShop plik robots.txt można:
- wygenerować automatycznie z poziomu zaplecza:
Preferencje > SEO i URL > Generuj plik robots.txt - ręcznie edytować przez FTP lub menedżer plików (np.
public_html/robots.txt), - uzupełniać niestandardowe wpisy o wykluczenia dynamiczne (np. filtry, parametry).
Po zmianach warto sprawdzić poprawność pliku za pomocą:
Czego nie robić w robots.txt?
Najczęstsze błędy:
- całkowite zablokowanie dostępu do strony (
Disallow: /) – np. przez przypadek, - blokowanie zasobów CSS i JS – Google potrzebuje ich do oceny wyglądu strony,
- brak mapy strony w pliku,
- niepotrzebne blokowanie adresów z tagiem
noindex, co uniemożliwia jego działanie, - niezachowanie spójności pliku robots.txt po aktualizacji PrestaShop.
