Kiedy asystent szuka informacji w trakcie odpowiedzi, wysyła na strony swojego robota. Robot najpierw czyta plik robots.txt i sprawdza, czy wolno mu wejść. Jeśli znajdzie zakaz, wychodzi, a Twoja strona przestaje istnieć dla tego asystenta, choć w Google działa normalnie.
W audytach, które robimy, zablokowane roboty AI to jedna z trzech najczęstszych przyczyn nieobecności firmy w odpowiedziach. Prawie nigdy nie jest to świadoma decyzja. Zwykle blokadę dołożyła wtyczka, wykonawca strony albo dostawca hostingu.
Kto puka do drzwi
| Robot | Czyj | Do czego służy |
|---|---|---|
GPTBot | OpenAI | Pobieranie stron do uczenia modeli |
OAI-SearchBot | OpenAI | Wyszukiwanie w trakcie odpowiedzi ChatGPT |
ChatGPT-User | OpenAI | Wejście na stronę na wyraźne życzenie użytkownika |
PerplexityBot | Perplexity | Indeksowanie stron do odpowiedzi z przypisami |
ClaudeBot | Anthropic | Pobieranie stron przez Claude |
Google-Extended | Zgoda na użycie treści przez Gemini | |
Applebot-Extended | Apple | Odpowiednik u Apple |
Bingbot | Microsoft | Wyszukiwarka Bing, także źródło dla Copilota |
GPTBot zbiera dane do uczenia, a OAI-SearchBot odpowiada za wyszukiwanie w trakcie rozmowy. Jeśli nie chcesz oddawać treści na uczenie modeli, ale chcesz być polecany, zablokuj pierwszego, a wpuść drugiego.Gotowy plik dla firmy, która chce być polecana
Wklej do pliku robots.txt w głównym katalogu strony. Podmień adres mapy witryny na swój.
User-agent: *
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: Applebot-Extended
Allow: /
Sitemap: https://twojadomena.pl/sitemap.xmlJeśli chcesz jednocześnie nie oddawać treści na uczenie modeli, dopisz na końcu:
User-agent: GPTBot
Disallow: /Jak sprawdzić, co masz teraz
- Wpisz w przeglądarce
twojadomena.pl/robots.txt. Plik wyświetli się jako zwykły tekst. - Poszukaj linii
Disallow: /. Jeśli stoi podUser-agent: *, blokujesz wszystko i wszystkich, łącznie z Google. - Sprawdź, czy któryś robot z tabeli wyżej ma przy sobie
Disallow. - Zajrzyj też w kod strony i poszukaj znacznika
<meta name="robots">. Wartośćnoindexdziała niezależnie od pliku robots.txt. - Jeśli korzystasz z Cloudflare, sprawdź w panelu ustawienie blokowania robotów AI. Bywa włączone domyślnie i działa ponad plikiem robots.txt.
Ostatni punkt jest podchwytliwy. Cloudflare od jakiegoś czasu potrafi blokować roboty AI na poziomie sieci, więc plik robots.txt może wyglądać poprawnie, a robot i tak nie wchodzi. Jeśli poprawiłeś plik, a nic się nie zmienia, sprawdź właśnie tam.
Najczęstsze przypadkowe blokady
- Strona testowa, która stała się produkcyjną. Wykonawca zablokował wszystko na czas budowy i zapomniał zdjąć blokadę po uruchomieniu.
- Wtyczka do prywatności. Część wtyczek dodaje blokadę robotów AI w ramach „ochrony treści", bez pytania.
- Ustawienie WordPressa. Pole „Proś wyszukiwarki o nieindeksowanie tej witryny" w ustawieniach czytania. Włączone, potrafi zostać na lata.
- Skopiowany plik z innej strony. Razem z jej blokadami, które nie mają związku z Twoją.
Co dalej, kiedy roboty już wchodzą
Wpuszczenie robotów to warunek konieczny, nie wystarczający. Robot wchodzi i musi coś przeczytać. Jeśli strona to jeden obrazek z menu i formularz kontaktowy, wejście nic nie zmienia.
Kolejne dwa kroki to dane strukturalne LocalBusiness, żeby nie trzeba było zgadywać podstawowych faktów, oraz uporządkowana wizytówka Google, z której model bierze kategorię, godziny i opinie. Całość składa się w metodę, którą opisujemy na stronie Metoda.
A jeśli chcesz najpierw zobaczyć, gdzie stoisz, zamów darmowy skan. Sprawdzamy przy okazji, czy Twój robots.txt nie blokuje asystentów, i piszemy o tym w raporcie.