Cada día los robots de los búscadores son más voraces, y no son pocos los que sentimos como buena parte de nuestro ancho de banda es saqueado (slurpado) por los diferentes robots que pululan por la red. Entre ellos hay que destacar al Msnbot, que es capaz de acaparar 1Gb de ancho de banda de una web de nivel medio.
En el blog oficial de Yahoo! encontramos unas sugerencias para evitar que las arañas se pasen de la raya. Resumiendo:
1.- Comprimir nuestros archivos (Gzip)
2.- Responder a los robots con el código HTTP correcto. De este modo solo descargaran las páginas cuando éstas se hayan actualizado.
3.- Utilizar correctamente el robots.txt y el crawl-delay para así reducir las visitas de las arañas.
Puedes mandar tus comentarios y preguntas a Yahoo sobre su robot.
vía Search Engine Watch
No hay comentarios:
Publicar un comentario