Jak stavové kódy HTTP a chyby sítě a DNS ovlivňují vyhledávání Google

Tato stránka popisuje, jak různé stavové kódy HTTP, chyby sítě a DNS ovlivňují vyhledávání Google. Zabýváme se 20 nejčastějšími stavovými kódy, se kterými se robot Googlebot na webu setkal, a nejvýznamnějšími chybami sítě a DNS. Exotičtější stavové kódy, jako je například 418 (I´m a teapot-Jsem konvice), nejsou zahrnuty. Všechny problémy uvedené na této stránce generují odpovídající chybu nebo varování v sestavě Indexování stránek služby Search Console.

★ Experimentální funkce podporovaných protokolů (HTTP a FTP) nejsou podporovány, pokud není uvedeno jinak.

Stavové kódy HTTP

Stavové kódy HTTP jsou generovány serverem, na kterém je stránka umístěna, když odpovídá na požadavek klienta, například prohlížeče nebo crawleru. Každý stavový kód HTTP má jiný význam, ale výsledek požadavku je často stejný. Například existuje více stavových kódů, které signalizují přesměrování, ale jejich výsledek je stejný.

Google Search Console generuje chybové zprávy pro stavové kódy v rozsahu 4xx-5xx a pro neúspěšná přesměrování (3xx). Pokud server odpověděl stavovým kódem 2xx, může být obsah přijatý v odpovědi považován za indexovaný.

★ Stavový kód HTTP 2xx (úspěch) nezaručuje indexování.

Následující tabulka obsahuje stavové kódy HTTP, se kterými se robot Google nejčastěji setkává, a vysvětlení, jak Google s jednotlivými stavovými kódy zachází.

Chyby soft 404

Chyba soft 404 nastane, když adresa URL vrátí uživateli stránku s informací, že stránka neexistuje, a zároveň se zobrazí stavový kód 200 (úspěch). V některých případech se může jednat o stránku bez hlavního obsahu nebo o prázdnou stránku.

Takové stránky mohou být generovány z různých důvodů webovým serverem nebo systémem pro správu obsahu vašeho webu nebo prohlížečem uživatele. Například:

• chybějící soubor na straně serveru,
• nefunkční připojení k databázi,
• prázdná stránka s výsledky interního vyhledávání,
• nenačtený nebo jinak chybějící soubor JavaScriptu.

Špatným uživatelským zážitkem je vracení stavového kódu 200 (úspěch), ale následné zobrazení chybové zprávy nebo nějakého druhu chyby na stránce. Uživatelé si mohou myslet, že stránka je živě funkční, ale pak se jim zobrazí nějaká chyba. Takové stránky jsou z vyhledávání vyloučeny.

Pokud algoritmy Google na základě obsahu stránky zjistí, že se ve skutečnosti jedná o chybovou stránku, zobrazí Google Search Console v hlášení Indexování stránek na webu chybu soft 404.

Oprava chyb soft 404

V závislosti na stavu stránky a požadovaném výsledku můžete chyby soft 404 řešit několika způsoby:

• stránka a obsah již nejsou k dispozici,
• stránka nebo obsah se nyní nachází někde jinde,
• stránka a obsah stále existují.

Pokuste se určit, které řešení bude pro uživatele nejlepší.

Stránka a obsah již nejsou k dispozici

Pokud jste stránku odstranili a na vašem webu neexistuje žádná náhradní stránka s podobným obsahem, vraťte pro stránku kód odpovědi (stav) 404 (nenalezeno) nebo 410 (zrušeno). Tyto stavové kódy informují vyhledávače, že stránka neexistuje a její obsah by neměl být indexován.

Pokud máte přístup ke konfiguračním souborům serveru, můžete tyto chybové stránky přizpůsobit tak, aby byly pro uživatele užitečné. Dobrá vlastní stránka 404 pomůže lidem najít informace, které hledají, a také poskytne další užitečný obsah, který je povzbudí k dalšímu prozkoumání vašeho webu. Zde je několik tipů pro návrh užitečné vlastní stránky 404:

• návštěvníkům jasně sdělte, že hledanou stránku nelze najít – používejte jazyk, který je přátelský a přívětivý,
• ujistěte se, že stránka 404 má stejný vzhled a působení (včetně navigace) jako zbytek webu,
• zvažte přidání odkazů na nejoblíbenější články nebo příspěvky a také na domovskou stránku webu,
• přemýšlejte o tom, že uživatelům poskytnete možnost nahlásit nefunkční odkaz.

Vlastní stránky 404 jsou vytvořeny výhradně pro uživatele. Protože tyto stránky jsou z pohledu vyhledávače nepoužitelné, ujistěte se, že server vrací stavový kód 404, abyste zabránili jejich indexování.

Stránka nebo obsah je nyní někde jinde

Pokud se vaše stránka přesunula nebo má na webu jasnou náhradu, vraťte uživateli přesměrování 301 (trvalé přesměrování). Tím nenarušíte jejich prohlížení stránek a je to také skvělý způsob, jak informovat vyhledávače o novém umístění stránky. Pomocí nástroje Kontrola URL si ověřte, zda vaše adresa URL skutečně vrací správný kód.

Stránka a obsah stále existují

Pokud byla jinak dobrá stránka označena chybou soft 404, je pravděpodobné, že se pro Googlebot nenačetla správně, chyběly jí kritické zdroje nebo se při vykreslování zobrazovala výrazná chybová zpráva. Pomocí nástroje Kontrola URL prozkoumejte vykreslený obsah a vrácený kód HTTP. Pokud je vykreslená stránka prázdná, téměř prázdná nebo obsah obsahuje chybovou zprávu, může to znamenat, že vaše stránka odkazuje na mnoho zdrojů, které nelze načíst (obrázky, skripty a další netextové prvky), což lze interpretovat jako soft 404. Mezi důvody, proč nelze načíst zdroje, patří zablokované zdroje (blokované souborem robots.txt), příliš mnoho zdrojů na stránce, různé chyby serveru, pomalé načítání či příliš velké zdroje.

Chyby sítě a DNS

Chyby sítě a DNS mají rychlý a negativní vliv na přítomnost adresy URL ve vyhledávání Google. Googlebot zachází se síťovými timeouty, resetem připojení a chybami DNS podobně jako s chybami serveru 5xx. V případě síťových chyb se procházení okamžitě začne zpomalovat, protože síťová chyba je známkou toho, že server nemusí být schopen zvládnout obsluhovanou zátěž. Vzhledem k tomu, že se robot Googlebot nemohl dostat na server, na kterém je web umístěn, neobdržel od něj ani žádný obsah. Nedostatek obsahu znamená, že Google nemůže indexovat procházené adresy URL, a již indexované adresy URL, které jsou nedosažitelné, budou během několika dní z indexu Google odstraněny. Služba Search Console může generovat chybové hlášky pro každou příslušnou chybu.

★ Pokud web nehostujete sami, požádejte o pomoc poskytovatele hostingu nebo CDN.

Ladění chyb sítě

K těmto chybám dochází předtím, než Google začne procházet adresu URL, nebo v průběhu procházení adresy URL. Vzhledem k tomu, že k chybám může dojít dříve, než server stihne zareagovat, a není tedy k dispozici žádný stavový kód, který by mohl napovědět o problémech, může být diagnostika těchto chyb náročnější. Ladění chyb timeoutu a resetování připojení:

• Podívejte se na nastavení brány firewall a protokoly. Může být nastaveno příliš široké blokovací pravidlo. Ujistěte se, že IP adresy Googlebot nejsou blokovány žádným pravidlem brány firewall.
• Podívejte se na síťový provoz. Pomocí nástrojů, jako je tcpdump a Wireshark, zachyťte a analyzujte pakety TCP a hledejte anomálie, které ukazují na konkrétní síťovou komponentu nebo modul serveru.
• Pokud nenajdete nic podezřelého, obraťte se na hostingovou společnost.

Chyba může být v jakékoli součásti serveru, která zpracovává síťový provoz. Například přetížená síťová rozhraní mohou zahazovat pakety, což vede k timeoutům (nemožnosti navázat spojení) a resetování spojení (odeslání paketu RST, protože port byl omylem uzavřen).

Ladění chyb DNS

Chyby DNS jsou nejčastěji způsobeny chybnou konfigurací, ale mohou být způsobeny také pravidlem brány firewall, které blokuje dotazy Googlebot DNS. Chcete-li vyladit chyby DNS, proveďte následující kroky:

• Zkontrolujte pravidla brány firewall. Ujistěte se, že žádná z IP adres Google není blokována žádným pravidlem brány firewall a že jsou povoleny požadavky UDP i TCP.
• Podívejte se na své záznamy DNS. Zkontrolujte, zda záznamy A a CNAME ukazují na správné adresy IP a hostitelské jméno. Například:

dig +nocmd example.com a +noall +answer
dig +nocmd www.example.com cname +noall +answer

• Zkontrolujte, zda všechny vaše jmenné servery ukazují na správné IP adresy vašeho webu. Například:

dig +nocmd example.com ns +noall +answer
example.com.    86400  IN  NS  a.iana-servers.net.
example.com.    86400  IN  NS  b.iana-servers.net.
dig +nocmd @a.iana-servers.net example.com +noall +answer
example.com.    86400  IN  A  93.184.216.34
dig +nocmd @b.iana-servers.net example.com +noall +answer

• Pokud jste provedli změny v konfiguraci DNS během posledních 72 hodin, může být nutné počkat, než se změny rozšíří do globální sítě DNS. Chcete-li šíření urychlit, můžete pročistit veřejnou mezipaměť DNS společnosti Google.
• Pokud používáte vlastní server DNS, ujistěte se, že je v pořádku a že není přetížený.

Pokud vás zajímá Google vyhledávání přečtěte si také článek Podrobný průvodce fungováním vyhledávání Google, kde se dozvíte podrobnosti o procházení, indexování i výsledcích vyhledávání.

Co je HTTP, HTTPS, jak vypadá HTTP požadavek, stavové kódy http i co je a jak získat SSL certifikát. Na všechny tyto témata naleznete odpovědi v článku HTTP a HTTPS: Jak zabezpečit webové stránky.

Překlad, odborná a obsahová korektura: SEOPRAKTICKY.CZ

Použité zdroje

1. HTTP Status Codes, Network and DNS Errors, and Google Search | Google Search Central  |  Documentation  |  Google Developers. Google for Developers – Software Development Guides, Tools & More  |  Google Developers [online]. Dostupné z: https://developers.google.com/search/docs/crawling-indexing/http-network-errors

Související články

Základy vyhledávání

Základy SEO

Procházení a indexování

• Mapy stránek
• Správa crawlingu
  • Požádejte Google, aby znovu prohledal vaše adresy URL
  • Snížení rychlosti procházení Googlebotem
  • Ověřování Googlebot a dalších crawlerů Google
  • Průvodce majitele velkého webu pro správu rozpočtu na procházení (crawling)
  • Jak stavové kódy HTTP a chyby sítě a DNS ovlivňují vyhledávání Google
  • Google crawlers
    • Přehled crawlerů a fetcherů (uživatelských agentů) Google
    • Googlebot
    • Uživatelský agent Google Read Aloud
    • Uživatelský agent APIs-Google
    • Feedfetcher

• Robots.txt
• Kanonizace
• Mobilní web a indexování podle mobilních zařízení
• AMP
• JavaScript
• Metadata stránek a obsahu
• Odstranění
• Přesuny a změny webu

Ranking a možnosti zobrazení ve výsledku vyhledávání

Monitorování a odstraňování chyb

Průvodce pro konkrétní stránky