Un sitio web es como un iceberg: la punta solo muestra lo que el usuario necesita ver, así como lo que los algoritmos de búsqueda necesitan evaluar. Lo que está bajo el agua son todos esos elementos que se guardan solo para los ojos del webmaster.
Pero a veces, es un poco difícil decirle a los buscadores «aquí puedes echar un vistazo, pero aquí no». Para eso, se pueden utilizar diferentes tipos de archivos y etiquetas: uno de los más utilizados son los Robots.txt.
¿Qué es el archivo Robots.txt?
Es una extensión que crean los programadores o desarrolladores web de un sitio, para luego guardarlo en Internet. Contiene una serie de códigos y etiquetas en lenguaje simple, las cuales ayudan a bloquear el paso de los algoritmos (también conocidas como arañas o bots) de los buscadores como Google. Así se puede evitar que indexen, evalúen o incluso posicionen algún contenido que no deseamos.
En ellos se puede especificar qué tipo de elemento se quiere bloquear: pueden ser URLs, directorios, formularios, artículos, entre otros. Al utilizarlos se busca centrar la atención de las arañas en la punta del iceberg, así solo tendrán en cuenta los elementos de SEO que son implementados en ellos, logrando así resultados más positivos para el posicionamiento.
¿Qué contiene el archivo?
Incluye diferentes comandos o códigos para evitar la indexación. Es necesario tratar estos ficheros con mucho cuidado, ya que afectarán notablemente a la evaluación de las arañas, así que impactará directamente en la cantidad de tráfico online. Los elementos principales son los siguientes.
- Agente de usuario: El código se escribe en inglés user-agent. Es la forma cómo se definen a las arañas en el archivo, con este código se escribe el nombre del robot al que se quiere bloquear el paso.
- Deshabilitar: Se escribe disallow, con este se etiquetan los contenidos a los que se quiere evitar la evaluación.
- Permitir: Se indica con la etiqueta allow, indica el contenido que sí estará disponible para indexar.
