Crawl budget i indeksacja – czemu Google nie widzi stron

Dodajesz nowe podstrony, opisy produktów, wpisy na blogu – a w Google jak nie było, tak nie ma. Wpisujesz site:twojadomena.pl i okazuje się, że z 600 adresów wyszukiwarka zna 180. Reszta wisi w próżni. To klasyczny objaw zmarnowanego crawl budgetu: robot Google przychodzi, ale zamiast czytać Twoje wartościowe strony, krąży po śmietniku adresów, których nikt nigdy nie szukał.

W tym tekście rozkładam temat tak, jak robimy to na audytach: czym jest budżet indeksowania, na czym Google go przepala, jak czytać raport indeksowania w Search Console i co konkretnie zrobić, żeby wyszukiwarka wreszcie zauważyła podstrony, na których Ci zależy. I od razu uczciwie – dla większości małych firm crawl budget to mit, a prawdziwy problem leży gdzie indziej. To też wyjaśnię.

Spis treści

• Czym jest crawl budget i kiedy w ogóle Cię dotyczy
• Na co Google marnuje budżet indeksowania
• Raport „Indeksowanie stron” w Search Console – jak go czytać
• Jak odzyskać crawl budget – konkretne ruchy
• Jak przyspieszyć indeksację nowych podstron
• Mała vs duża witryna – kiedy crawl budget naprawdę boli
• Najczęściej zadawane pytania

Czym jest crawl budget i kiedy w ogóle Cię dotyczy

Crawl budget, czyli budżet indeksowania, to liczba adresów, które robot Google jest skłonny odwiedzić na Twojej stronie w danym czasie. Składają się na niego dwa elementy: ile robot może pobrać bez przeciążania serwera (limit szybkości) i na ile Google chce Cię odwiedzać, bo uznaje treść za wartą uwagi (zapotrzebowanie na indeksowanie).

Tu pojawia się pierwsze nieporozumienie. Indeksacja strony w Google to nie to samo co jej zindeksowanie po crawlu. Robot najpierw musi adres odwiedzić (crawl), potem zdecydować, czy w ogóle warto go trzymać w indeksie. Można być scrawlowanym i mimo to wylądować w worku „Wykryto – obecnie nie zindeksowano”. Crawl budget odpowiada za pierwszy etap, jakość treści – za drugi.

I najważniejsze: jeśli masz stronę firmową na 30, 80, nawet 200 podstron, crawl budget prawie na pewno nie jest Twoim problemem. Google ogarnie taką witrynę w jeden, dwa dni. Gdy mała strona „nie wchodzi” do indeksu, winna jest słaba treść, błędna konfiguracja albo kanibalizacja – nie limit indeksowania. Budżet zaczyna boleć dopiero przy tysiącach adresów: dużych sklepach, portalach, witrynach z filtrami.

Pro-tip: zanim zaczniesz „optymalizować crawl budget”, policz adresy. Wejdź w Search Console, otwórz raport indeksowania i sprawdź sumę stron zindeksowanych i niezindeksowanych. Jeśli to setki, a nie dziesiątki tysięcy – odłóż temat crawl budgetu i zajmij się jakością treści oraz linkowaniem wewnętrznym. Oszczędzisz sobie tygodni pracy nad problemem, którego nie masz.

Na co Google marnuje budżet indeksowania

Kiedy witryna jest duża, robot ma skończoną liczbę „wizyt” do rozdania. Problem w tym, że większość stron sama produkuje dziesiątki tysięcy bezwartościowych adresów, na których ten budżet ucieka. Oto trzy najczęstsze złodzieje, których wyłapujemy na kontach klientów.

Adresy z parametrami – sklepowy klasyk

Filtry, sortowanie, sesje, identyfikatory kampanii. Jeden produkt potrafi wygenerować kilkanaście wariantów URL: ?kolor=czarny, ?sort=cena, ?page=2&kolor=czarny&rozmiar=L. Dla Ciebie to ta sama lista. Dla Google – osobne adresy do odwiedzenia. W jednym sklepie meblowym, który przejmowaliśmy, na 1200 realnych produktów przypadało ponad 40 tysięcy adresów z parametrami. Robot grzązł w filtrach zamiast czytać karty produktów.

Duplikaty i wersje tej samej treści

Strona dostępna pod http i https, z www i bez, z ukośnikiem na końcu i bez niego, ten sam wpis pod kilkoma kategoriami. Bez poprawnego kanonicznego adresu (rel="canonical") Google traktuje każdą wersję jak osobną stronę i mnoży pracę razy cztery. To także prosta droga do kanibalizacji słów kluczowych, bo kilka adresów bije się o tę samą frazę. Pomocne tu bywa też czyste menu okruszków – dobrze skonfigurowane breadcrumby nawigacyjne wymuszają jedną, spójną ścieżkę URL przez całą strukturę witryny.

Łańcuchy przekierowań

Adres A przekierowuje do B, B do C, C do D. Każdy skok to osobne pobranie i kolejna porcja zmarnowanego budżetu. Łańcuchy narastają latami – po migracji, zmianie struktury URL, przejściu na https. Sprawdź, czy Twoje stare adresy wpadają do celu jednym przekierowaniem 301, a nie po trzech przeskokach.

Do tego dochodzą drobne wycieki, które sumują się w skali dużej witryny: strony z błędem 404 nadal podlinkowane wewnętrznie, nieskończone kalendarze, paginacja bez końca, strony tagów generowane automatycznie. Każdy z tych adresów to wizyta robota odebrana stronie, na której naprawdę Ci zależy.

Raport „Indeksowanie stron” w Search Console – jak go czytać

Cała diagnostyka zaczyna się w jednym miejscu: raport indeksowania w Search Console (dawniej „Stan” / Coverage). Znajdziesz go w menu po lewej, w sekcji Indeksowanie → Strony. Na górze masz dwie liczby – strony zindeksowane i niezindeksowane – a pod nimi listę powodów, dla których adresy nie trafiły do Google. To właśnie ta lista mówi, gdzie ucieka budżet.

Statusy, które warto rozumieć, bo padają najczęściej:

• „Wykryto – obecnie nie zindeksowano” – Google zna adres, ale jeszcze go nie odwiedził lub odwiedzić nie zdążył. Gdy tych stron są tysiące, to realny sygnał problemu z crawl budgetem albo z jakością treści.
• „Zindeksowano – przeskanowano, obecnie bez indeksu” – robot był, ale uznał stronę za zbyt słabą, by ją trzymać. Tu nie pomoże budżet, tylko lepsza treść.
• „Strona z przekierowaniem” – duża liczba w tym wierszu często zdradza łańcuchy 301.
• „Zduplikowana, Google wybrał inny kanoniczny” – sygnał, że masz problem z duplikatami i canonicalami.
• „Wykluczono przez tag noindex” oraz „Zablokowana w pliku robots.txt” – sprawdź, czy to celowe. Czasem ktoś przez pomyłkę zablokował pół serwisu.

Z naszej praktyki najczęstsza pułapka to właśnie ostatni punkt. Klient dzwoni z pytaniem dlaczego strona nie jest w Google, a po wejściu w raport okazuje się, że deweloper zostawił z fazy budowy globalny noindex albo Disallow: / w pliku robots. Strona indeksowo nie istnieje nie dlatego, że Google jej nie lubi – tylko dlatego, że sami kazaliśmy mu się trzymać z daleka.

Pro-tip: kliknij konkretny powód w raporcie, a dostaniesz listę przykładowych adresów. Przeklej kilka z nich do narzędzia „Sprawdzenie adresu URL” (na samej górze Search Console). Zobaczysz dokładnie, kiedy robot był ostatnio, co odczytał i którą wersję uznał za kanoniczną. To pięć minut, które oszczędza godziny zgadywania.

Jeśli liczby w raporcie wyglądają groźnie, a nie wiesz, od którego wątku pociągnąć, to dokładnie ten moment na audyt strony WWW. Część techniczną – mapy witryny, robots, canonicale, łańcuchy – domykamy w ramach technicznego audytu SEO, gdzie wyłapujemy te wycieki adresowo.

Jak odzyskać crawl budget – konkretne ruchy

Odzyskiwanie budżetu to nie jeden magiczny przełącznik, tylko porządkowanie. Chodzi o to, żeby robot przestał odwiedzać śmieci, a zaczął częściej wracać tam, gdzie jest pieniądz. Kolejność, którą stosujemy:

1. Zablokuj śmietnik w robots.txt. Adresy z parametrami filtrów, wewnętrzną wyszukiwarką, sesjami – jeśli nie mają trafiać do indeksu, odetnij je regułą Disallow. Robot przestaje na nie chodzić i odzyskujesz wizyty. Jak to ustawić bezpiecznie, opisaliśmy w tekście o konfiguracji pliku robots.txt.
2. Uporządkuj canonicale. Każda grupa duplikatów powinna wskazywać jeden adres bazowy. To gasi mnożenie wersji i kanibalizację.
3. Spłaszcz przekierowania. Przejrzyj łańcuchy i przepnij stare adresy bezpośrednio do celu – jedno 301, zero przeskoków.
4. Usuń linki do stron 404. Skoro adres nie żyje, nie podawaj go robotowi w linkach wewnętrznych. Albo przekieruj, albo wytnij odnośnik.
5. Daj noindex cienkim stronom. Puste kategorie, automatyczne tagi, strony bez treści – oznacz je noindex albo scal w wartościowsze. Mniej śmieci to większy udział dobrych stron w budżecie.
6. Wyczyść mapę witryny (sitemap). W sitemap.xml zostaw wyłącznie adresy, które mają być w indeksie – status 200, bez przekierowań i noindex. Mapa pełna martwych URL podrzuca robotowi złe tropy.

Pamiętaj o jednej zależności, którą łatwo przeoczyć: szybkość serwera podnosi limit indeksowania. Gdy strona odpowiada wolno, robot zwalnia, żeby jej nie przeciążyć – i pobiera mniej adresów. Tu crawl budget spotyka się z wydajnością, więc warto zerknąć na Core Web Vitals i szybkość strony. Przyspieszenie odpowiedzi serwera to często najprostszy sposób, by Google zaczął odwiedzać więcej podstron. W tym samym obszarze działa optymalizacja obrazów pod SEO – nieskompresowane grafiki potrafią podwoić czas odpowiedzi serwera i pośrednio obniżyć częstotliwość wizyt robota.

Jak przyspieszyć indeksację nowych podstron

Druga twarz tego samego problemu: opublikowałeś coś świeżego i chcesz, żeby Google zobaczył to dziś, a nie za trzy tygodnie. Oto co realnie działa, gdy zastanawiasz się, jak przyspieszyć indeksację:

• Sprawdzenie adresu URL + „Poproś o zaindeksowanie”. Wklej nowy adres w narzędzie na górze Search Console i kliknij prośbę o indeksację. To kolejka, nie gwarancja, ale dla pojedynczych ważnych stron działa szybko.
• Podlinkuj nowość ze stron, które robot odwiedza często. Strona główna, popularna kategoria, świeży wpis na blogu. Im bliżej „centrum” witryny leży nowy adres, tym szybciej zostanie znaleziony. To jeden z powodów, dla których linkowanie wewnętrzne jest tak niedoceniane.
• Dopisz adres do mapy witryny. Aktualna sitemap to dla Google lista „tu są moje ważne strony”.
• Publikuj regularnie. Witryny, które dodają wartościową treść w stałym rytmie, dostają wyższe zapotrzebowanie na indeksowanie. Robot uczy się wracać częściej, bo wie, że coś znajdzie.

Czego nie robić: nie licz, że samo „Poproś o zaindeksowanie” naprawi słabą stronę. Jeśli treść jest cienka albo zduplikowana, Google ją odwiedzi i odłoży. Indeksacja to nagroda za wartość, nie za klikanie przycisku. Tym bardziej w erze odpowiedzi generowanych przez AI, gdzie liczy się jednoznaczna, dobrze ustrukturyzowana treść – więcej w tekście o pozycjonowaniu w wyszukiwarkach AI.

Mała vs duża witryna – kiedy crawl budget naprawdę boli

Wracam do tego, bo to różnica, która decyduje, gdzie warto włożyć pracę. Crawl budget zachowuje się zupełnie inaczej w zależności od skali serwisu.

Mała i średnia witryna (do kilkuset adresów). Google scrawluje ją bez wysiłku. Jeśli podstrony nie wchodzą do indeksu, przyczyna leży w treści (zbyt cienka, zduplikowana), w konfiguracji (przypadkowy noindex, blokada w robots) albo w tym, że strona jest sierotą – nie prowadzi do niej żaden link wewnętrzny. Optymalizacja „pod crawl budget” jest tu stratą czasu. Napraw treść, podlinkuj sieroty, sprawdź robots i canonicale.

Duża witryna (tysiące i dziesiątki tysięcy adresów). Tu budżet jest realnym ograniczeniem. Sklep z setkami produktów i filtrami, portal, baza wiedzy, serwis z lokalizacjami – każdy zmarnowany crawl na parametrze to świeży produkt, który czeka w kolejce za długo. Przy takiej skali porządkowanie parametrów, canonicali i łańcuchów przekłada się wprost na to, jak szybko nowy asortyment pojawia się w wynikach.

Pro-tip: chcesz zobaczyć, co robot naprawdę pobiera, a nie co myślisz, że pobiera? Zajrzyj do logów serwera. To jedyne źródło prawdy o tym, które adresy odwiedza Googlebot i jak często. Na dużych witrynach analiza logów zwykle ujawnia, że 60-70 procent wizyt idzie na adresy, których w ogóle nie chcesz w indeksie. Dopóki tego nie zobaczysz na własne oczy, łatwo optymalizować nie ten obszar.

Niezależnie od skali zasada jest jedna: Google ma chodzić tam, gdzie jest wartość, i omijać śmieci. Czysta architektura URL, jeden adres na jedną treść, krótkie przekierowania, szybki serwer i porządne linkowanie wewnętrzne robią więcej niż jakakolwiek sztuczka. Reszta to konsekwencja.

Najczęściej zadawane pytania

Czym jest crawl budget?
To liczba adresów Twojej witryny, które robot Google odwiedza w danym czasie. Zależy od tego, ile serwer wytrzyma bez przeciążenia oraz na ile Google uznaje Twoją treść za wartą częstego sprawdzania. Im więcej śmieciowych adresów, tym mniej wizyt zostaje na stronach, na których faktycznie zależy.

Dlaczego moja strona nie jest w Google?
Najczęściej z jednego z trzech powodów: przypadkowy tag noindex lub blokada w robots.txt, zbyt cienka albo zduplikowana treść, której Google nie chce trzymać, albo brak linków wewnętrznych prowadzących do tej podstrony. W raporcie indeksowania w Search Console zobaczysz konkretny status, który wskaże przyczynę.

Jak przyspieszyć indeksację nowej podstrony?
Użyj narzędzia „Sprawdzenie adresu URL” w Search Console i poproś o zaindeksowanie, podlinkuj nowy adres ze strony, którą robot odwiedza często, i dopisz go do mapy witryny. To skraca czas, ale działa tylko wtedy, gdy treść jest wartościowa.

Gdzie sprawdzić, co Google zindeksował?
W raporcie „Indeksowanie stron” w Google Search Console. Pokazuje liczbę stron zindeksowanych i niezindeksowanych oraz powody wykluczeń. Szybki podgląd daje też wpisanie w wyszukiwarce komendy site:twojadomena.pl – zobaczysz orientacyjnie, ile adresów Google zna.

Czy crawl budget to problem dla małej firmowej strony?
Zwykle nie. Witrynę na kilkadziesiąt czy kilkaset podstron Google ogarnia bez trudu. Jeśli takie strony nie wchodzą do indeksu, problemem jest treść lub konfiguracja, a nie budżet indeksowania. Crawl budget zaczyna realnie ograniczać przy tysiącach adresów – dużych sklepach i portalach.

Nie masz pewności, czy Google marnuje budżet na Twojej witrynie, czy problem leży w treści i konfiguracji? Jako certyfikowany partner Google w Social Plan zaczynamy od audytu: przeglądamy raport indeksowania, robots, canonicale i przekierowania, po czym mówimy wprost, co naprawić w pierwszej kolejności. Napisz do nas – przejrzymy Twoją stronę bez zobowiązań.