|
ROBOTS.TXT (Spider)
Este archivo se coloca en la raiz de la pagina. Es decir www.misitio.com/robots.txt Con este archivo podemos prohibir el paso de los robots (buscadores) hacia algunas carpetas o archivos.
Es muy simple:
User-agent: "nombre del robot" Disallow: "nombre de la carpeta o nombre del archivo"
Por ejemplo:
Para el robot de google; vamos a prohibir el acceso a la carpeta de "imagenes"; su nombre es "imagenes"
# ---Prohibir a googlebot ver mis imagenes User-agent: googlebot? Disallow: /imagenes/ # ---
Prohibir el acceso a todos los robots # --- Todos User-agent: * Disallow: /imagenes/ # ---
Prohibir el acceso a un formato de archivo por ejemplo ?swf? (flash) # --- Prohibir a swf User-agent: * Disallow: *.swf # ---
Para prohibir todo acceso # --- Prohibir Disallow: / # ---
Para saber el nombre de cada robot. + Info
Verificar validacion del codigo. +info
Etiquetas: Buscadores
Escrito por vichitex @ 8/23/2004 02:09:00 PM

0 Comentarios:
<< Regresar
|