Stránky zakázané v robots.txt mohou být indexovány pokud na ně vede odkaz

Poměrně zásadní informaci prozradil John Mueller na Google Webmaster Central, kterou není dobré brát na lehkou váhu, protože může potenciálně způsobit problémy. Aktivní odkazy ze stránek mohou donutit GoogleBota, aby procrawloval i stránky, které jsou zakázané v robots.txt. Ten však vrátí prázdnou stránku, kterou teoreticky může zařadit do indexu. V podstatě GoogleBot navštíví jakýkoliv odkaz, […]

The post Stránky zakázané v robots.txt mohou být indexovány pokud na ně vede odkaz appeared first on 404M.COM.

Zobrazit více

Zdroj: https://404m.com/2018/06/15/stranky-zakazane-v-robots-txt-mohou-byt-indexovany-pokud-na-ne-vede-odkaz/