Como utilizar a meta tag robots

Como o Googlebot a interpreta meta tag robots

Saiu no Official Google Webmaster Central Blog um artigo intitulado como Using the robots meta tag falando a respeito da utilização da meta tag robots e como o Googlebot a interpreta. Vale a leitura.

Para aqueles que não dominam o inglês, vou simplificar o artigo linkado acima em alguns exemplos. Uma meta tag do tipo robot é criado da seguinte maneira:

<meta name="robots" content="Veja Valores abaixo" />

• 
  NOINDEX – previne a página de ser indexada pelo Googlebot*;
• 
  NOFOLLOW – previne o Googlebot de indexar qualquer link contigo
  na página;
• 
  NOARCHIVE – previne que uma cópia da página seja disponibilizada
  no resultado da busca;
• 
  NOSNIPPET – previne a descrição da página no resultado da busca
  bem como o cache dela;
• 
  NOODP – bloqueia a descrição da página utilizada no resultado da
  busca no Open Directory Project;
• 
  NONE – o mesmo que “NOINDEX, NOFOLLOW”.

* Googlebot