Snížení rychlosti procházení Googlebotem

Google má propracované algoritmy, které určují optimální rychlost procházení webu. Jeho cílem je při každé návštěvě procházet co nejvíce stránek z vašeho webu, aniž by zahltil šířku pásma vašeho serveru. V některých případech může prohledávání vašeho webu společností Google způsobovat kritické zatížení vaší infrastruktury nebo nežádoucí náklady při výpadku. Chcete-li tuto situaci zmírnit, můžete se rozhodnout snížit počet požadavků prováděných robotem Google.

Varování: Při zvažování snížení rychlosti procházení robotem Google mějte na paměti, že to bude mít znatelné dopady. Googlebot objeví méně nových stránek, stávající stránky budou méně často obnovovány (například ceny a dostupnost produktů se mohou ve vyhledávání projevit až po delší době) a odstraněné stránky mohou zůstat v indexu déle.

Pokud se rozhodnete snížit rychlost procházení robotem Google, nabízíme vám několik možností:

• snížit míru procházení pomocí Google Search Console (doporučujeme),
• nechat Google snížit rychlost procházení automaticky.

Snížení rychlosti procházení pomocí služby Search Console (doporučujeme)

Chcete-li rychle snížit rychlost procházení, můžete změnit rychlost procházení Googlebotem v Google Search Console. Změny tohoto nastavení se zpravidla projeví během několika dní. Chcete-li toto nastavení použít, nejprve ověřte vlastnictví webu. Dbejte na to, abyste nenastavili rychlost procházení na hodnotu, která je pro potřeby vašeho webu příliš nízká.

Pokud je nastavení rychlosti procházení pro váš web nedostupné, podejte zvláštní žádost o snížení rychlosti procházení. O zvýšení rychlosti procházení nelze požádat.

Nechte Google automaticky snížit rychlost procházení

Pokud potřebujete naléhavě snížit rychlost procházení na krátkou dobu (například několik hodin nebo 1-2 dny), pak místo celého obsahu vraťte informační chybovou stránku se stavovým kódem odpovědi HTTP 500, 503 nebo 429. Googlebot sníží rychlost procházení vašeho webu, pokud narazí na značný počet adres URL se stavovými kódy HTTP 500, 503 nebo 429 (například pokud jste svůj web zakázali). Tato změna se projeví jak v procházení adres URL, které vracejí tyto chyby, tak i celkově na webu. Jakmile se počet těchto chyb sníží, rychlost procházení se začne automaticky opět zvyšovat.

Varování: Nedoporučujeme provádět tuto činnost po delší dobu (tj. déle než 1-2 dny). Pokud robot Googlebot pozoruje tyto stavové kódy na stejné adrese URL po více dní, může adresu URL vyřadit z indexu Google.

Překlad, odborná a obsahová korektura: SEOPRAKTICKY.CZ

Použité zdroje

1. Reduce Googlebot Crawl Rate | Google Search Central  |  Documentation  |  Google Developers. Google for Developers – Software Development Guides, Tools & More  |  Google Developers [online]. Dostupné z: https://developers.google.com/search/docs/crawling-indexing/reduce-crawl-rate

Související články

Základy vyhledávání

Základy SEO

Procházení a indexování

• Mapy stránek
• Správa crawlingu
  • Požádejte Google, aby znovu prohledal vaše adresy URL
  • Snížení rychlosti procházení Googlebotem
  • Ověřování Googlebot a dalších crawlerů Google
  • Průvodce majitele velkého webu pro správu rozpočtu na procházení (crawling)
  • Jak stavové kódy HTTP a chyby sítě a DNS ovlivňují vyhledávání Google
  • Google crawlers
    • Přehled crawlerů a fetcherů (uživatelských agentů) Google
    • Googlebot
    • Uživatelský agent Google Read Aloud
    • Uživatelský agent APIs-Google
    • Feedfetcher

• Robots.txt
• Kanonizace
• Mobilní web a indexování podle mobilních zařízení
• AMP
• JavaScript
• Metadata stránek a obsahu
• Odstranění
• Přesuny a změny webu

Ranking a možnosti zobrazení ve výsledku vyhledávání

Monitorování a odstraňování chyb

Průvodce pro konkrétní stránky