Plik robots.txt – co to jest, jak działa i jak ustawić go w sklepie PrestaShop?

Plik robots.txt to prosty plik tekstowy umieszczany w głównym katalogu strony internetowej, który informuje roboty wyszukiwarek (np. Googlebot), które zasoby serwisu mogą być indeksowane, a które powinny zostać pominięte. To jedno z podstawowych narzędzi technicznego SEO, które pozwala kontrolować widoczność strony w wynikach wyszukiwania.

W sklepie internetowym, np. opartym na PrestaShop, prawidłowa konfiguracja pliku robots.txt ma kluczowe znaczenie – chroni przed indeksowaniem niepotrzebnych podstron (np. filtrowania, koszyka, logowania), wspiera crawl budget i pomaga unikać duplikacji treści.

Co to jest robots.txt?

Robots.txt to plik, który roboty wyszukiwarek odczytują jako pierwszą instrukcję po wejściu na stronę. Na jego podstawie decydują, które zasoby witryny analizować i indeksować, a które pomijać.

Przykładowy adres pliku:

arduinoKopiujEdytujhttps://twojsklep.pl/robots.txt

Plik ten składa się z dyrektyw takich jak:

• User-agent: – określa, do którego robota odnosi się reguła (np. Googlebot, * dla wszystkich),
• Disallow: – blokuje dostęp do określonej ścieżki lub katalogu,
• Allow: – umożliwia dostęp (opcjonalne w bardziej precyzyjnych konfiguracjach),
• Sitemap: – podaje lokalizację mapy strony (sitemap.xml).

Do czego służy plik robots.txt?

W praktyce plik robots.txt pozwala:

• zablokować indeksowanie panelu logowania, koszyka, filtrowania, historii zamówień,
• ochronić powielające się lub techniczne adresy URL (np. z parametrami),
• skierować roboty do odpowiedniej mapy strony,
• zapobiec marnowaniu budżetu indeksowania (crawl budget),
• zwiększyć kontrolę nad strukturą i hierarchią witryny.

Przykład pliku robots.txt dla sklepu PrestaShop

Poniżej znajdziesz bezpieczną, zoptymalizowaną wersję pliku robots.txt dla standardowej instalacji PrestaShop:

makefileKopiujEdytujUser-agent: *
Disallow: /app/
Disallow: /bin/
Disallow: /config/
Disallow: /download/
Disallow: /mails/
Disallow: /modules/
Disallow: /translations/
Disallow: /var/
Disallow: /vendor/
Disallow: /cache/
Disallow: /classes/
Disallow: /controllers/
Disallow: /docs/
Disallow: /install/
Disallow: /admin*/  
Disallow: /login
Disallow: /cart
Disallow: /order
Disallow: /search
Disallow: /password-recovery
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?tag=
Disallow: /*?id_currency=
Disallow: /*?search_query=
Disallow: /*controller=*

Sitemap: https://twojsklep.pl/sitemap.xml

Uwaga: Ścieżki mogą się różnić w zależności od wersji PrestaShop i struktury Twojego sklepu. Zawsze wykonaj test indeksowania po każdej zmianie.

Robots.txt a indeksowanie i SEO

Wbrew pozorom zablokowanie strony w robots.txt nie oznacza, że nie pojawi się ona w wynikach Google – może być zindeksowana, ale bez treści. Jeśli chcesz całkowicie wykluczyć stronę z indeksu, lepiej użyć tagu noindex w kodzie HTML (który zadziała tylko, jeśli robot ma dostęp do strony).

Dlatego używaj robots.txt głównie do ograniczania dostępu do folderów technicznych i powielonych adresów, a nie do blokowania cennych treści.

Jak edytować plik robots.txt w PrestaShop?

W PrestaShop plik robots.txt można:

• wygenerować automatycznie z poziomu zaplecza:
  Preferencje > SEO i URL > Generuj plik robots.txt
• ręcznie edytować przez FTP lub menedżer plików (np. public_html/robots.txt),
• uzupełniać niestandardowe wpisy o wykluczenia dynamiczne (np. filtry, parametry).

Po zmianach warto sprawdzić poprawność pliku za pomocą:

• Google Search Console > Test pliku robots.txt

Czego nie robić w robots.txt?

Najczęstsze błędy:

• całkowite zablokowanie dostępu do strony (Disallow: /) – np. przez przypadek,
• blokowanie zasobów CSS i JS – Google potrzebuje ich do oceny wyglądu strony,
• brak mapy strony w pliku,
• niepotrzebne blokowanie adresów z tagiem noindex, co uniemożliwia jego działanie,
• niezachowanie spójności pliku robots.txt po aktualizacji PrestaShop.