Přehled crawlerů a fetcherů (uživatelských agentů) Google

Společnost Google používá crawlery a fetchery k provádění akcí pro své produkty, a to buď automaticky, nebo na základě požadavku uživatele.

Crawler (někdy také nazývaný „robot“ nebo „pavouk“) je obecný termín pro jakýkoli program, který se používá k automatickému vyhledávání a skenování webových stránek sledováním odkazů z jedné webové stránky na druhou. Hlavní crawler společnosti Google se nazývá Googlebot.

Fetchery jsou nástroji, které si, podobně jako prohlížeče, na výzvu uživatele vyžádají jednu adresu URL.

Následující tabulky ukazují, jaké crawlery a fetchery Google používají různé produkty a služby, jak je můžete vidět v protokolech odkazů a jak je zadat v souboru robots.txt.

• Token user agent se používá v řádku User-agent: v souboru robots.txt k přiřazení typu crawleru při psaní pravidel pro procházení webu. Některé crawlery mají více než jeden token, jak je uvedeno v tabulce; aby se pravidlo použilo, je třeba přiřadit pouze jeden token crawleru. Tento seznam není úplný, ale pokrývá většinu crawlerů, se kterými se můžete na svých webových stránkách setkat.
• Úplný řetězec user agent je úplným popisem crawleru a objevuje se v požadavku HTTP a ve vašich webových protokolech.

Upozornění: Řetězec user agent může být podvržen. Zjistěte, jak ověřit, zda je návštěvník Google crawler.

Běžné crawlery

Běžné crawlery společnosti Google se používají k vytváření indexů vyhledávání Google, k provádění dalších crawlů specifických pro daný produkt a k analýze. Vždy se řídí pravidly robots.txt a obvykle procházejí z IP adres zveřejněných v objektu googlebot.json.

Googlebot

Mozilla/5.0 (Linux;
Android 6.0.1; Nexus 5X Build/MMB29P) 
AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/W.X.Y.Z Mobile Safari/537.36 
(compatible; Googlebot/2.1; 
+http://www.google.com/bot.html)

Googlebot

Mozilla/5.0 AppleWebKit/537.36 
(KHTML, like Gecko; compatible; 
Googlebot/2.1; +http://www.google.com/bot.html) 
Chrome/W.X.Y.Z Safari/537.36

Zřídka:

Mozilla/5.0 (compatible; Googlebot/2.1; 
+http://www.google.com/bot.html)
Googlebot/2.1 (+http://www.google.com/bot.html)

Googlebot-Image
Googlebot

Googlebot-Image/1.0

Googlebot-News
Googlebot

Googlebot-Video
Googlebot

Googlebot-Video/1.0

Googlebot-Image
Googlebot

Mozilla/5.0 (X11; Linux x86_64)
AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/49.0.2623.75 Safari/537.36 Google Favicon

Storebot-Google

Agent pro stolní počítače:

Mozilla/5.0 (X11; Linux x86_64;
 Storebot-Google/1.0)
AppleWebKit/537.36 (KHTML, jako Gecko)
Chrome/79.0.3945.88 Safari/537.36

Mobilní agent:

Mozilla/5.0 (Linux; Android 8.0;
Pixel 2 Build/OPD3.170816.012;
Storebot-Google/1.0) AppleWebKit/537.36 
(KHTML, jako Gecko) Chrome/81.0.4044.138 
Mobile Safari/537.36

GoogleOther

GoogleOther

Crawlery pro speciální případy

Crawlery pro zvláštní případy jsou používány specifickými produkty, u nichž existuje dohoda mezi procházeným webem a produktem o procesu procházení. Například AdsBot se souhlasem vydavatele reklamy ignoruje globální robots.txt (*). Crawlery pro speciální případy mohou ignorovat pravidla robots.txt, a proto pracují z jiného rozsahu IP než běžné crawlery. Rozsahy IP jsou zveřejněny v objektu special-crawlers.json.

AdsBot-Google-Mobile

APIs-Google
(+https://developers.google.com/
webmasters/APIs-Google.html)

AdsBot-Google-Mobile

Mozilla/5.0 (Linux; Android 6.0.1; 
Nexus 5X Build/MMB29P) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/W.X.Y.Z 
Mobile Safari/537.36 (compatible; 
AdsBot-Google-Mobile; 
+http://www.google.com/mobile/adsbot.html)

AdsBot-Google-Mobile

Mozilla/5.0 (iPhone; 
CPU iPhone OS 14_7_1 like Mac OS X) 
AppleWebKit/605.1.15 (KHTML, like Gecko) 
Version/14.1.2 Mobile/15E148 Safari/604.1 
(compatible; AdsBot-Google-Mobile; 
+http://www.google.com/mobile/adsbot.html)

AdsBot-Google

AdsBot-Google (+http://www.google.com/adsbot.html)

Mediapartners-Google

Mediapartners-Google

Mediapartners-Google

(Various mobile device types) 
(compatible; Mediapartners-Google/2.1; 
+http://www.google.com/bot.html)

Uživatelem spouštěné fetchery

Tyto fetchery jsou spouštěny uživateli, aby provedly některou specifickou funkci. Například nástroj Google Site Verifier funguje na základě požadavku uživatele. Protože o načtení požádal uživatel, tyto fetchery obvykle ignorují pravidla robots.txt. Rozsahy IP, které fetchery spouštěné uživatelem používají, jsou zveřejněny v objektu user-triggered-fetchers.json.

FeedFetcher-Google

FeedFetcher-Google;
(+http://www.google.com/feedfetcher.html)

GoogleProducer; (+http://goo.gl/7y4SX)

(X11; Linux x86_64) AppleWebKit/537.36 
(KHTML, jako Gecko) Chrome/41.0.2272.118 Safari/537.36 
(kompatibilní; Google-Read-Aloud; 
+https://developers.google.com/search/docs/
crawling-indexing/overview-google-crawlers)

Mozilla/5.0 (Linux; Android 7.0; SM-G930V 
Build/NRD90M) AppleWebKit/537.36 
(KHTML, jako Gecko) Chrome/59.0.3071.125 
Mobile Safari/537.36 (kompatibilní; Google-Read-Aloud; 
+https://developers.google.com/search/docs/
crawling-indexing/overview-google-crawlers)

Google-speakr

Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

Poznámka o Chrome/W.X.Y.Z v uživatelských agentech

Všude tam, kde v tabulce vidíte řetězec Chrome/W.X.Y.Z v řetězcích uživatelských agentů, je W.X.Y.Z ve skutečnosti zástupný symbol, který představuje verzi prohlížeče Chrome používanou daným uživatelským agentem: například 41.0.2272.96. Toto číslo verze se časem zvýší tak, aby odpovídalo nejnovější verzi Chromu používané Googlebotem.

Pokud prohledáváte protokoly nebo filtrujete server pro uživatelského agenta s tímto vzorem, použijte pro číslo verze raději zástupné znaky, než abyste zadávali přesné číslo verze.

Uživatelští agenti v souboru robots.txt

Pokud je v souboru robots.txt rozpoznáno několik uživatelských agentů, bude se Google řídit tím nejkonkrétnějším. Pokud chcete, aby vaše stránky mohl procházet celý Google, soubor robots.txt vůbec nepotřebujete. Pokud chcete zablokovat nebo povolit přístup k některému svému obsahu všem crawlerům Google, můžete to provést tak, že jako uživatelského agenta uvedete Googlebot. Pokud například chcete, aby se všechny vaše stránky zobrazovaly ve vyhledávači Google, a pokud chcete, aby se na vašich stránkách zobrazovaly reklamy AdSense, soubor robots.txt opět nepotřebujete. Podobně pokud chcete některé stránky zcela zablokovat pro Google, zablokováním uživatelského agenta Googlebot zablokujete i všechny ostatní uživatelské agenty Google.

Pokud však chcete mít lepší kontrolu, můžete být konkrétnější. Například můžete chtít, aby se ve vyhledávání Google zobrazovaly všechny vaše stránky, ale nechcete, aby byly procházeny obrázky v osobním adresáři. V takovém případě použijte soubor robots.txt, který zakáže uživatelskému agentu Googlebot-Image procházet soubory v osobním adresáři (a zároveň umožní Googlebotovi procházet všechny soubory), například takto:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

Jako další příklad uveďme, že chcete mít na všech svých stránkách reklamy, ale naopak nechcete, aby se tyto stránky zobrazovaly ve vyhledávání Google. V tomto případě byste zablokovali Googlebot, ale povolili uživatelského agenta Mediapartners-Google, například takto:

User-agent: Googlebot
Disallow: / 
User-agent: Mediapartners-Google
Disallow:

Řízení rychlosti procházení

Každý crawler společnosti Google přistupuje k webům za určitým účelem a různou rychlostí. Google používá algoritmy, které určují optimální rychlost procházení pro každý web. Pokud prochází váš web příliš často, můžete rychlost procházení snížit.

Vyřazené vyhledávače Google

Následující vyhledávače Google se již nepoužívají a jsou zde uvedeny pouze z historických důvodů.

DuplexWeb-Google

Mozilla/5.0 (Linux; Android 11; 
Pixel 2; DuplexWeb-Google/1.0) 
AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/86.0.4240.193 Mobile Safari/537.36

googleweblight

Mozilla/5.0 (Linux; Android 4.2.1; 
en-us; Nexus 5 Build/JOP40D) 
AppleWebKit/535.19 (KHTML, like Gecko; 
googleweblight) 
Chrome/38.0.1025.166 Mobile Safari/535.19

AdsBot-Google-Mobile-Apps

AdsBot-Google-Mobile-Apps

Více pro Crawl Budget, jak ho zlepšit, ale i na co si dát pozor, se dočtete v článku Crawl Budget.

Překlad, odborná a obsahová korektura: SEOPRAKTICKY.CZ

Použité zdroje

1. Google Crawler (User Agent) Overview | Google Search Central  |  Documentation  |  Google Developers. Google for Developers – Software Development Guides, Tools & More  |  Google Developers [online]. Dostupné z: https://developers.google.com/search/docs/crawling-indexing/overview-google-crawlers

Související články

Základy vyhledávání

Základy SEO

Procházení a indexování

• Mapy stránek
• Správa crawlingu
  • Požádejte Google, aby znovu prohledal vaše adresy URL
  • Snížení rychlosti procházení Googlebotem
  • Ověřování Googlebot a dalších crawlerů Google
  • Průvodce majitele velkého webu pro správu rozpočtu na procházení (crawling)
  • Jak stavové kódy HTTP a chyby sítě a DNS ovlivňují vyhledávání Google
  • Google crawlers
    • Přehled crawlerů a fetcherů (uživatelských agentů) Google
    • Googlebot
    • Uživatelský agent Google Read Aloud
    • Uživatelský agent APIs-Google
    • Feedfetcher

• Robots.txt
• Kanonizace
• Mobilní web a indexování podle mobilních zařízení
• AMP
• JavaScript
• Metadata stránek a obsahu
• Odstranění
• Přesuny a změny webu

Ranking a možnosti zobrazení ve výsledku vyhledávání

Monitorování a odstraňování chyb

Průvodce pro konkrétní stránky