Gerador de Robots.txt

Padrão - todos os robôs são:	Permitido Recusou
Atraso de rastreamento:	Padrão - sem atraso 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Mapa do site: (deixe em branco se você não tiver)
Robôs de pesquisa:	Google	O mesmo que o padrão Permitido Recusou
	Google Image	O mesmo que o padrão Permitido Recusou
	Google Mobile	O mesmo que o padrão Permitido Recusou
	MSN Search	O mesmo que o padrão Permitido Recusou
	Yahoo	O mesmo que o padrão Permitido Recusou
	Yahoo MM	O mesmo que o padrão Permitido Recusou
	Yahoo Blogs	O mesmo que o padrão Permitido Recusou
	Ask/Teoma	O mesmo que o padrão Permitido Recusou
	GigaBlast	O mesmo que o padrão Permitido Recusou
	DMOZ Checker	O mesmo que o padrão Permitido Recusou
	Nutch	O mesmo que o padrão Permitido Recusou
	Alexa/Wayback	O mesmo que o padrão Permitido Recusou
	Baidu	O mesmo que o padrão Permitido Recusou
	Naver	O mesmo que o padrão Permitido Recusou
	MSN PicSearch	O mesmo que o padrão Permitido Recusou
Diretórios restritos:	O caminho é relativo ao root e deve conter uma barra final "/"

Agora, crie o arquivo 'robots.txt' no seu diretório raiz. Copie o texto acima e cole no arquivo de texto.

Sobre Gerador de Robots.txt

Robots.txt é um arquivo que contém instruções sobre como rastrear um site. Também é conhecido como protocolo de exclusão de robôs, e esse padrão é usado por sites para informar aos bots qual parte de seu site precisa de indexação. Além disso, você pode especificar quais áreas não deseja que sejam processadas por esses rastreadores; essas áreas contêm conteúdo duplicado ou estão em desenvolvimento. Bots como detectores de malware, coletores de e-mail não seguem esse padrão e irão procurar pontos fracos em seus títulos, e há uma probabilidade considerável de que eles comecem a examinar seu site a partir das áreas que você não deseja indexar.

O primeiro arquivo que os robôs do mecanismo de pesquisa examinam é o arquivo txt do robô; se não for encontrado, há uma grande chance de que os rastreadores não indexem todas as páginas do seu site. Este pequeno arquivo pode ser alterado posteriormente quando você adicionar mais páginas com a ajuda de pequenas instruções, mas certifique-se de não adicionar a página principal na diretiva de proibição. O Google funciona com um orçamento de rastreamento; esse orçamento é baseado em um limite de rastreamento. O limite de rastreamento é o número de tempo que os rastreadores passarão em um site, mas se o Google descobrir que rastrear seu site está abalando a experiência do usuário, ele rastreará o site mais lentamente. Isso significa que toda vez que o Google enviar um spider, ele verificará apenas algumas páginas do seu site e sua postagem mais recente levará algum tempo para ser indexada. Para remover essa restrição, seu site precisa ter um sitemap e um arquivo robots.txt. Esses arquivos irão acelerar o processo de rastreamento, informando quais links do seu site precisam de mais atenção.