Rastreamento e indexação

Conteúdos sobre rastreamento e indexação de páginas pelos sistemas de busca.

sitemap.xml

O sitemap é um arquivo que informa aos motores de busca as páginas e arquivos de um site que devem ser rastreados e a relação entre eles. Ele é utilizado para que os crawlers entendam a estrutura do site e o rastreiem de maneira mais eficaz. É possível incluir informações como a última data de […]

robots.txt

O robots.txt é um arquivo de texto que fica na raiz do site (http://exemplo.com/robots.txt) e informa aos robôs dos mecanismos de busca as páginas e diretórios que eles devem e não devem rastrear e mostrar nos resultados de pesquisa. Você pode utilizar o robots.txt para evitar que os robôs rastreiem áreas internas do site ou […]

Conheça a Mateada
acessar