I10 Stacja 10 z 11
Crawlery AI (GPTBot, OAI-SearchBot, Google-Extended, ClaudeBot) – co robią i czy je blokować w robots.txt
Crawlery AI to roboty, które firmy tworzące modele językowe wysyłają na strony z trzech powodów: aby zbierać treści do trenowania modeli, budować indeks dla własnej wyszukiwarki AI oraz pobierać strony w trakcie rozmowy na prośbę użytkownika. Część dostawców wykorzystuje do każdego z tych celów osobnego robota, więc w robots.txt możesz zablokować trenowanie modeli (np. roboty GPTBot, ClaudeBot, token Google-Extended), a jednocześnie pozostać w wyszukiwarkach AI (np. OAI-SearchBot). Blokada robota treningowego nie usuwa strony z wyników wyszukiwania tego samego dostawcy.
Niżej znajdziesz tabelę robotów sześciu dostawców, cztery gotowe zestawy reguł i sposób na sprawdzenie w logach, kto naprawdę odwiedza Twoją stronę. Podstawy składni tego formatu opisujemy w artykule o pliku robots.txt.
Trzy rodzaje robotów AI
- Roboty treningowe – zbierają treści, które mogą trafić do trenowania przyszłych modeli. Blokada oznacza: „nie ucz modeli na mojej treści”. Nie wpływa na to, czy strona pojawi się w odpowiedziach z wyszukiwania.
- Roboty wyszukiwarek AI – budują indeks, z którego asystent pobiera strony do cytowania. Blokada zwykle oznacza, że strona przestaje pojawiać się jako źródło w odpowiedziach.
- Roboty działające na prośbę użytkownika – pobierają konkretną stronę, gdy użytkownik o nią prosi albo gdy asystent sprawdza ją w trakcie rozmowy. Nie przeszukują sieci automatycznie, a część dostawców wprost zaznacza, że robots.txt może ich nie obejmować.
Do tego dochodzą tokeny kontrolne, takie jak Google-Extended czy Applebot-Extended. Według firm Google i Apple nie pobierają one stron jako osobne roboty – to nazwy, które wpisujesz w robots.txt, żeby wyrazić zgodę lub sprzeciw wobec wykorzystania treści na potrzeby AI. Stronę i tak pobiera zwykły robot wyszukiwarki.
Tabela crawlerów AI
Nazwy w drugiej kolumnie to wartości, które wpisujesz w wierszu User-agent:. Opisy pochodzą z dokumentacji dostawców (stan na 15 listopada 2026 roku).
| Dostawca | User-agent / token | Do czego służy | Czy blokada wyklucza z wyszukiwarki AI dostawcy? |
|---|---|---|---|
Googlebot | Crawlowanie stron na potrzeby wyszukiwarki Google, w tym wszystkich jej funkcji | Tak, ale razem z całą wyszukiwarką – Przegląd od AI i Tryb AI korzystają z tego samego indeksu | |
Google-Extended (tylko token, bez własnego user-agenta) | Wyrażenie zgody na trenowanie przyszłych modeli Gemini i na grounding, czyli podawanie modelowi treści z indeksu w chwili odpowiedzi, w aplikacjach Gemini oraz Vertex AI | Nie – Google informuje, że token ten nie wpływa na obecność w wyszukiwarce ani na pozycję w wynikach | |
| OpenAI | OAI-SearchBot | Wyszukiwanie w ChatGPT | Tak – strona nie jest pokazywana w odpowiedziach ChatGPT search; może się pojawić tylko jako link nawigacyjny |
| OpenAI | GPTBot | Zbieranie treści do trenowania modeli | Nie |
| OpenAI | ChatGPT-User | Wizyty na prośbę użytkownika ChatGPT i GPT; OpenAI informuje, że reguły robots.txt mogą go nie obejmować | Nie – OpenAI informuje, że robot ten nie decyduje o obecności w wynikach wyszukiwania |
| Anthropic | ClaudeBot | Zbieranie treści, które mogą trafić do trenowania modeli | Nie dotyczy wyszukiwania – blokada wyklucza przyszłe treści z treningu |
| Anthropic | Claude-SearchBot | Indeksowanie stron pod kątem jakości wyników wyszukiwania w Claude | Według firmy Anthropic blokada „może zmniejszyć” widoczność w wynikach |
| Anthropic | Claude-User | Pobieranie stron, gdy użytkownik Claude o coś pyta | Według firmy Anthropic blokada uniemożliwia pobranie strony na prośbę użytkownika i „może zmniejszyć” widoczność |
| Perplexity | PerplexityBot | Pokazywanie i linkowanie stron w wynikach Perplexity; nie służy do treningu modeli | Perplexity zaleca zezwolenie mu na dostęp, aby strona pojawiała się w wynikach |
| Perplexity | Perplexity-User | Pobieranie stron na prośbę użytkownika; według Perplexity „zasadniczo ignoruje” robots.txt | Reguła w robots.txt zwykle nie działa |
| Apple | Applebot | Wyszukiwanie w Spotlight, Siri i Safari; dane mogą też służyć do trenowania modeli Apple oraz jako kontekst dla odpowiedzi AI | Tak, razem z wyszukiwaniem Apple |
| Apple | Applebot-Extended | Wyłącznie do wyrażania zgody na trenowanie modeli Apple (Apple Intelligence i innych) | Nie – treść pozostaje w Spotlight, Siri i Safari |
| Microsoft | bingbot | Indeks wyszukiwarki Bing; według dokumentacji usługa Microsoft 365 Copilot pobiera informacje z wyszukiwarki Bing | Tak, razem z wyszukiwarką Bing |
Trzy kwestie, które najczęściej są mylone:
- GPTBot to nie wyszukiwanie w ChatGPT. OpenAI informuje, że oba te ustawienia są od siebie niezależne: możesz dopuścić OAI-SearchBota i zablokować GPTBota. Szczegóły w artykule o ChatGPT Search.
- Google-Extended nie wyłącza Przeglądu od AI. Z AI Overviews i Trybu AI stronę wyklucza odpowiednie ustawienie w Search Console albo dyrektywy
nosnippetinoindex– opisujemy je w artykule o AI Overviews. - Applebot czyta reguły Googlebota. Firma Apple informuje, że jeśli robots.txt nie wymienia Applebota, a wymienia Googlebota, Applebot stosuje reguły dla Googlebota.
Blokowanie AI w robots.txt – gotowe reguły dla typowych decyzji
Zanim skopiujesz którykolwiek zestaw, pamiętaj o jednej zasadzie dopasowania. Google opisuje w specyfikacji robots.txt, że robot stosuje tylko jedną grupę reguł – tę z najbardziej szczegółową nazwą pasującą do niego – a pozostałe ignoruje. Grupy dla konkretnego robota i grupa User-agent: * nie są łączone. Jeśli więc dodasz osobną grupę dla OAI-SearchBota, przestanie on stosować reguły z grupy * (np. Disallow: /koszyk/). Zakładaj, że inne roboty działają tak samo, i w każdej grupie powtarzaj potrzebne wykluczenia.
1. „Chcę być w wyszukiwarkach AI, ale nie w treningu modeli”
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot i bingbot nie mają tu własnych grup, więc stosują Twoją grupę *, a jeśli jej nie masz – mają pełny dostęp. Perplexity nie ma osobnego robota treningowego – według dokumentacji PerplexityBot nie służy do trenowania modeli. Uwaga: blokada Google-Extended dotyczy nie tylko treningu modeli Gemini, ale też groundingu w aplikacjach Gemini i Vertex AI, czyli używania Twoich treści jako źródła odpowiedzi w tych usługach.
2. „Blokuję roboty AI, zostaję tylko w zwykłych wyszukiwarkach”
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
Kilka wierszy User-agent: nad jedną regułą tworzy wspólną grupę – to poprawna składnia. Ten zestaw ma dwa ograniczenia. Po pierwsze, Perplexity-User i ChatGPT-User mogą tej reguły nie respektować. Po drugie, zestaw ten nie wyłącza Przeglądu od AI, Trybu AI ani Copilota, bo one korzystają z indeksów Googlebota i bingbota. Zablokowanie tych dwóch robotów usunęłoby Twoją witrynę z całej wyszukiwarki. Z funkcji AI Google rezygnuje się za pomocą ustawienia „Generatywna AI w wyszukiwarce” w Search Console, a nie przez robots.txt. Zestaw nie obejmuje też Applebota (wyszukiwanie Apple): według Apple dane zebrane przez ten robot mogą służyć jako kontekst odpowiedzi AI, a wyłącza to meta tag nosnippet.
3. „Zamykam jedną sekcję przed treningiem modeli”
User-agent: *
Disallow: /koszyk/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /koszyk/
Disallow: /raporty/
Przykład dla serwisu, który chce chronić płatne raporty przed wykorzystaniem w treningu, ale udostępnia pozostałą część serwisu. Roboty wyszukiwarek AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot) nadal mogą pobierać /raporty/ – jeśli to ma się zmienić, dopisz je do drugiej grupy. Zwróć uwagę na powtórzone Disallow: /koszyk/ – bez niego roboty z drugiej grupy przestałyby stosować regułę z grupy *.
4. „Chcę być wszędzie, także w danych treningowych”
Nic nie dopisujesz. Roboty, których nie wymieniasz, stosują grupę *. Sprawdź za to dwa elementy, które mogą niepostrzeżenie blokować roboty: grupę User-agent: * z Disallow: / (zostawioną np. po wersji testowej strony) oraz zaporę sieciową lub sieć CDN odrzucające ruch spoza przeglądarek. OpenAI i Perplexity wprost zalecają dopuszczenie ruchu z ich opublikowanych adresów IP, a Perplexity podaje w dokumentacji instrukcje dla zapór Cloudflare i AWS.
Ograniczenia robots.txt
- To prośba, nie zabezpieczenie. Plik jest publiczny, a jego przestrzeganie zależy od robota. Treści, których nikt nie powinien pobierać, chroń za pomocą logowania albo reguł na serwerze.
- Roboty działające na prośbę użytkownika często go pomijają. OpenAI informuje w odniesieniu do robota ChatGPT-User, że reguły robots.txt „mogą nie mieć zastosowania”, a Perplexity – że Perplexity-User „zasadniczo ignoruje” robots.txt. Anthropic deklaruje odwrotnie: jego roboty, w tym Claude-User, respektują robots.txt.
- Zmiany nie działają od razu. OpenAI podaje, że wyniki wyszukiwania dostosowują się do nowego pliku robots.txt po około 24 godzinach, a Perplexity – że w ciągu maksymalnie 24 godzin.
- Blokada IP nie zastąpi robots.txt. Anthropic ostrzega, że zablokowanie adresów IP jego robotów może uniemożliwić im odczytanie pliku robots.txt, więc nie gwarantuje trwałego wykluczenia. Pamiętaj też o subdomenach – każda wymaga osobnego pliku robots.txt.
- Crawl-delay działa wybiórczo. Anthropic obsługuje niestandardową dyrektywę
Crawl-delay, natomiast Apple informuje, że Applebot jej nie stosuje.
Nowością jest wspólny sygnał „nie trenuj na moich treściach”, rozwijany w ramach grupy roboczej IETF AI Preferences (AIPREF). Anthropic zaczął go uwzględniać 30 października 2026 roku, Google zapowiada obsługę na początek 2027 roku, a Microsoft – od 1 lutego 2027 roku. Standard ten ma wciąż status projektu, dlatego na razie należy opierać się na opisanych wyżej regułach dla konkretnych robotów. W kwestii pliku llms.txt wystarczy jedno zdanie: nie jest to odpowiednik robots.txt – Google informuje, że jego wyszukiwarka go ignoruje, a OpenAI, Anthropic i Perplexity nie deklarują w dokumentacji, by ich roboty brały go pod uwagę.
Jak sprawdzić w logach, które roboty AI wchodzą na stronę
Najpewniejszym źródłem są logi dostępu serwera (np. access.log na serwerze Apache lub Nginx). Na serwerze z dostępem SSH możesz zliczyć wizyty poszczególnych robotów za pomocą prostej pętli (każdy wiersz logu jest liczony tylko raz):
for bot in GPTBot OAI-SearchBot ChatGPT-User ClaudeBot Claude-SearchBot Claude-User PerplexityBot Perplexity-User Applebot bingbot Googlebot; do
echo "$bot: $(grep -c "$bot" access.log)"
done
Czego można się z tego dowiedzieć:
- Kto w ogóle wchodzi. Brak wizyt robota, któremu zezwalasz na dostęp, to sygnał do sprawdzenia zapory i robots.txt. Nie wyciągaj za to wniosków z samych proporcji: OpenAI informuje, że jeśli strona dopuszcza zarówno GPTBota, jak i OAI-SearchBota, system może wykorzystać jedno pobranie do obu celów.
- Kody odpowiedzi. Sprawdź, czy roboty otrzymują kod 200, a nie 403 lub 503 z zapory sieciowej. Znaczenie kodów opisujemy w artykule o kodach odpowiedzi HTTP.
- Obciążenie. Jeśli roboty AI pobierają tysiące adresów dziennie, porównaj to z wizytami Googlebota. O tym, jak ograniczać zbędne crawlowanie, piszemy w artykule o crawl budgecie.
Pamiętaj o dwóch zastrzeżeniach. Google-Extended i Applebot-Extended nie pojawią się w logach – Google informuje, że Google-Extended nie ma własnego user-agenta, a Apple – że Applebot-Extended nie pobiera stron samodzielnie. Ciąg user-agent może jednak przesłać każdy, dlatego przy podejrzanym ruchu warto weryfikować adres IP. OpenAI publikuje listy IP w plikach JSON (np. openai.com/searchbot.json, openai.com/gptbot.json), podobnie jak Perplexity. Google i Apple umożliwiają weryfikację robota za pomocą mechanizmu odwrotnego DNS – nazwa hosta kończy się wówczas odpowiednio na googlebot.com lub applebot.apple.com.
Decyzja o blokowaniu to w praktyce wybór między ochroną treści a obecnością w odpowiedziach AI. Jeśli zależy Ci na cytowaniach, zacznij od czynników, które na nie wpływają – zebraliśmy je w artykule o tym, jak strona trafia do cytowań w odpowiedziach AI. Szerszy kontekst znajdziesz w przewodniku SEO w czasach AI.
Źródła: dokumentacja robotów OpenAI, Anthropic, Perplexity, Apple, Google i Bing.
Najczęstsze pytania
Czy blokada GPTBota usuwa stronę z ChatGPT?
Nie z wyszukiwania. GPTBot zbiera treści do treningu, a o obecności w odpowiedziach ChatGPT search decyduje OAI-SearchBot. OpenAI pisze, że te ustawienia są od siebie niezależne.
Czy Google-Extended blokuje AI Overviews?
Nie. Google informuje, że Google-Extended nie wpływa na obecność strony w wyszukiwarce. Token dotyczy trenowania modeli Gemini i groundingu w aplikacjach Gemini oraz Vertex AI.
Czy wszystkie roboty AI respektują robots.txt?
Nie wszystkie. Perplexity informuje, że Perplexity-User zasadniczo ignoruje robots.txt, a OpenAI – że reguły te mogą nie obejmować robota ChatGPT-User. W przypadku robotów treningowych i wyszukiwarek AI dostawcy wskazują robots.txt jako sposób kontroli dostępu.
Po jakim czasie zmiana w robots.txt zadziała w ChatGPT?
OpenAI podaje, że jego systemy dostosowują wyniki wyszukiwania do zmienionego pliku robots.txt po około 24 godzinach.
Jak zablokować trening modeli, ale pozostać w wyszukiwarkach AI?
Zablokuj w robots.txt roboty i tokeny GPTBot, ClaudeBot, Google-Extended oraz Applebot-Extended, a robotom OAI-SearchBot, Claude-SearchBot i PerplexityBot pozostaw dostęp.
Cała linia: AI Search
- I01węzeł
SEO a AI
- I02
LLM
- I03
RAG
- I04
Query fan-out
- I05
AI Overviews
- I06
Tryb AI
- I07
ChatGPT Search
- I08
GEO
- I09
Cytowania w AI
- I10jesteś tutaj
Crawlery AI
- I11
Treści z AI
Przesiadki
Węzły pozostałych linii – od nich zaczyna się każdy dział Akademii.
- Co to jest SEO? Kompleksowy przewodnik po optymalizacji w 2026 rokuPodstawy SEO
- Jak skutecznie wyszukiwać słowa kluczoweSłowa kluczowe
- Przewodnik po kodach statusu HTTP: jak interpretować odpowiedzi serweraTechniczne SEO
- Topical authority w SEO – jak stać się autorytetem w swojej niszy?Semantyczne SEO
- Wpływ crawl budgetu na pozycjonowanie stron – jak skutecznie zarządzać zasobami skanowaniaCrawlowanie i indeksacja
- Nawigacja fasetowa – jak optymalizować ją dla SEO?SEO dla e-commerce
- Jak algorytm Panda zmienił zasady gry w SEO?Algorytmy Google
- Analiza danych w Google Search Console i ich wpływ na ruch internetowyNarzędzia SEO