Uso extraño de robots.txt

En un sector tan competido como el de los Hoteles en Internet, es fundamental ser encontrado fácilmente, y si además apareces bien posicionado en Google mejor que mejor, y si es una Yahoo!, ask,.. mejor que mejor. Para ello y como todo el mundo con unos mínimos conocimientos hace es crear un archivo robots.txt y con él, damos información a los robots o arañas de los buscadores para que sepan que pueden indexar, por donde no queremos que pase,…

Lo extraño es el caso del Hotel Hilton, su robots txt es un tanto extraño, sobre todo por sus dos primeras lineas:

# Daytime instructions for search engines
# Do not visit Hilton.com during the day!

Y si el robot que pasa es el de Terra no va a entender lo que dice, cómo está en inglés 🙂

Si no quieres que las arañas de los buscadores te entren en tu web hay otras formas más sencillas de “capar” los accesos…

Para vuestra info aquí teneis un par de herramientas online para crear robots.txt: Esta y Esta.

Leave a Reply

Your email address will not be published. Required fields are marked *