blog4x


Google : crawl et indexation malgré interdiction via fichier robots.txt ?

Depuis 2012 environ, il est parfois difficile de comprendre si Google respecte vraiment bien les directives du fichier robots.txt (qui interdit l'accès aux URL, c'est-à-dire leur crawl, et donc leur indexation). Certaines pages peuvent désormais être trouvables dans Google sans que Google les ait crawlées : elles sont ni indexées ni inconnues... Ce dossier fait le point sur ce sujet.
Source

Posted 2019/09/03 12:18:06
HTML Comment Box is loading comments...