|
 ROBOTS.TXT (Spider)
Este archivo se coloca en la raiz de la pagina.
Es decir www.misitio.com/robots.txt
Con este archivo podemos prohibir el paso de los robots (buscadores) hacia algunas carpetas o archivos.
Es muy simple:
User-agent: "nombre del robot"
Disallow: "nombre de la carpeta o nombre del archivo"
Por ejemplo:
Para el robot de google; vamos a prohibir el acceso a la carpeta de "imagenes"; su nombre es "imagenes"
# ---Prohibir a googlebot ver mis imagenes
User-agent: googlebot?
Disallow: /imagenes/
# ---
Prohibir el acceso a todos los robots
# --- Todos
User-agent: *
Disallow: /imagenes/
# ---
Prohibir el acceso a un formato de archivo por ejemplo ?swf? (flash)
# --- Prohibir a swf
User-agent: *
Disallow: *.swf
# ---
Para prohibir todo acceso
# --- Prohibir
Disallow: /
# ---
Para saber el nombre de cada robot.
+ Info
Verificar validacion del codigo.
+info
Etiquetas: Buscadores
Escrito por vichitex @ 8/23/2004 02:09:00 PM
 
0 Comentarios:
<< Regresar
|
Google Search 
