Dwa pliki, które rzadko widać na stronie, ale wyszukiwarki zaglądają do nich jako pierwsze. Sitemap.xml i robots.txt to podstawowe elementy konfiguracji technicznej każdej witryny. Wyjaśniamy, czym są, jak działają i dlaczego warto je mieć ustawione poprawnie.
Czym jest sitemap.xml
Sitemap.xml to plik w formacie XML, który zawiera listę adresów URL dostępnych na stronie. Działa jak spis treści dla robotów wyszukiwarek – pokazuje, jakie podstrony istnieją, kiedy były ostatnio aktualizowane i jak często się zmieniają.
Dzięki sitemap.xml robot indeksujący nie musi samodzielnie odnajdywać wszystkich podstron przez linki wewnętrzne. Zyskujesz pewność, że żadna ważna treść nie zostanie pominięta podczas crawlowania.
Co powinno znaleźć się w sitemap.xml
- adresy URL podstron, wpisów blogowych i kategorii
- strony produktów w przypadku sklepów internetowych
- daty ostatniej modyfikacji poszczególnych adresów
- wersje językowe, jeśli strona działa w kilku językach
Nie umieszczaj w sitemap stron, które mają ustawiony tag noindex, stron błędu 404 ani duplikatów. Plik powinien zawierać wyłącznie adresy, które chcesz, żeby Google zaindeksował.
Gdzie zgłosić sitemap.xml
Po wygenerowaniu pliku warto zgłosić go w Google Search Console w sekcji Mapy witryn. To przyspiesza indeksowanie i pozwala monitorować ewentualne błędy. Adres sitemap podaje się też w pliku robots.txt jako wskazówkę dla robotów.
Czym jest robots.txt
Robots.txt to prosty plik tekstowy umieszczony w głównym katalogu strony. Zawiera reguły, które informują roboty wyszukiwarek, do których zasobów mogą zaglądać, a do których nie powinny.
Plik ten działa na zasadzie dobrowolności – roboty szanujące standardy internetowe czytają go przed przystąpieniem do crawlowania. Nie jest to jednak zabezpieczenie techniczne: robots.txt nie blokuje dostępu do pliku, a jedynie komunikuje robota o ograniczeniach.
Do czego używa się robots.txt w praktyce
- blokowanie indeksowania stron administracyjnych i panelu logowania
- wyłączenie crawlowania stron filtrów i parametrów URL w sklepach
- ochrona katalogów z plikami technicznymi przed niepotrzebnym crawlowaniem
- wskazanie lokalizacji pliku sitemap.xml
Błąd w pliku robots.txt może zablokować indeksowanie całej strony. Wystarczy jedna niepoprawna reguła Disallow: /, żeby Google przestał odwiedzać witrynę. Dlatego każda zmiana w tym pliku wymaga sprawdzenia przed wdrożeniem.
Różnica między sitemap.xml a robots.txt
Oba pliki służą komunikacji ze wyszukiwarkami, ale pełnią odmienne funkcje. Sitemap.xml mówi robotowi: oto strony, które warto zaindeksować. Robots.txt mówi: tu nie zaglądaj. Działają najlepiej razem – sitemap wskazuje wartościowe zasoby, a robots.txt chroni te, które nie powinny trafiać do indeksu.
Jak wygenerować sitemap.xml i robots.txt w WordPress
W WordPressie oba pliki można skonfigurować za pomocą popularnych wtyczek SEO, takich jak Yoast SEO lub Rank Math. Generują one sitemap automatycznie i pozwalają edytować robots.txt bez ręcznego dostępu do serwera. Ważne, żeby po instalacji sprawdzić, czy pliki są dostępne pod adresami twojadomena.pl/sitemap.xml i twojadomena.pl/robots.txt.
Jeśli masz wątpliwości co do poprawności konfiguracji albo chcesz, żeby ktoś sprawdził ustawienia techniczne Twojej strony, możemy to zrobić w ramach audytu SEO lub opieki technicznej.
FAQ - najczęstsze pytania
Czy strona bez sitemap.xml nie zostanie zaindeksowana przez Google?
Google może zaindeksować stronę bez sitemap.xml, korzystając z linków wewnętrznych i zewnętrznych. Brak pliku zwiększa jednak ryzyko, że część podstron zostanie pominięta – szczególnie na większych witrynach i nowych domenach bez ugruntowanego profilu linków.
Czy robots.txt chroni treści strony przed nieautoryzowanym dostępem?
Nie – robots.txt to wyłącznie komunikat dla robotów, nie zabezpieczenie techniczne. Złośliwe boty i osoby celowo szukające ukrytych zasobów zignorują ten plik, dlatego wrażliwych danych nie należy chronić wyłącznie regułami Disallow.
Jak często powinienem aktualizować sitemap.xml?
Przy korzystaniu z wtyczek SEO w WordPressie plik aktualizuje się automatycznie po dodaniu lub usunięciu treści. Ręczna interwencja jest potrzebna głównie wtedy, gdy zmienia się struktura strony lub dodajesz nową sekcję, np. sklep albo wersję językową.
Co się stanie, jeśli sitemap zawiera adresy z tagiem noindex?
Taki adres wysyła Google sprzeczne sygnały: sitemap sugeruje indeksowanie, a noindex nakazuje je pominąć. W praktyce Google zwykle respektuje noindex, ale obecność takich adresów w sitemap generuje błędy widoczne w Google Search Console i warto je usunąć.
Czy wiele map witryn (sitemap index) to dobra praktyka?
Tak, szczególnie przy rozbudowanych serwisach i sklepach. Plik sitemap index grupuje osobne mapy dla wpisów, produktów czy stron statycznych, co ułatwia robotom nawigację i pozwala szybciej wykryć zmiany w konkretnej sekcji witryny.