X-robots tag nezabrání crawlingu celé URL

Tohle je informace spíše pro mě a aby byla nalezitelná. Pokud řešíte optimalizaci crawl budgetu, tak vězte, že i když v http hlavičce máte u x-robots: noindex,nofollow, robot vyhledávače po přečtení hlavičky crawluje celou URL. @PavelUngr Robot vždy stahuje celý obsah url. SeznamBot se http hlavičkou x-robots neřídí. — Seznam Vyhledávání (@hledani_seznam) 26. dubna 2017…

Příspěvek X-robots tag nezabrání crawlingu celé URL pochází z Pavel Ungr, SEO konzultant

Zobrazit více

Zdroj: http://blog.bloxxter.cz/x-robots-tag-nezabrani-crawlingu-cele-url/