En algunas ocasiones, cuando los editores nos pedís una valoración del precio que tienen los enlaces en vuestro sitio, os encontráis con un precio más bajo del que esperabais. Como hemos dicho en otras ocasiones, no solamente tenemos en cuenta la popularidad a la hora de otorgar precios, sino que éste se puede ver reducido [...]
Archivo para Septiembre 2010
Los archivos robots.txt y sitemap.xml
Viernes, 17 Septiembre 2010Existen dos archivos, normalmente residentes en el directorio raíz de nuestro servidor, que sirven para indicar a los robots de los buscadores (también llamados crawlers, arañas o spiders) como deben indexar nuestro contenido y hasta donde deben llegar. Estamos hablando de sitemap.xml y robots.txt.
El archivo robots.txt
Se supone que un crawler, lo primero que tiene que [...]