En este post hablaré sobre qué es robots.txt y por qué es importante y explicaré cómo crear y editar un archivo robots.txt en WordPress perfecto para mejorar el seo onpage. Si aún no has configurado correctamente este archivo no te preocupes que aquí aprenderás el paso a paso.
Mantener una correcta optimización SEO de tu sitio es fundamental para generar una buena cantidad de tráfico orgánico. Sin embargo, existen páginas, como contenido duplicado o áreas de paginación, ciertas categorías, etiquetas, paginas de autor, que es posible que desees ocultar a los visitantes a través de los motores de búsqueda.
Afortunadamente, existe una manera de evitar que motores como Google accedan a páginas específicas y se las muestren a los usuarios: al modificar el archivo robots.txt de tu sitio(tienda online, blog, etc), puedes controlar qué contenidos se muestra en las páginas de resultados de los motores de búsqueda (SERP).
Empecemos con la gran pregunta que solemos hacerle al señor google;
¿Qué es un archivo Robots.txt?
Un archivo robots.txt contiene instrucciones para los motores de búsqueda sobre cómo descubrir y extraer información de un sitio web: este proceso se denomina «rastreo».
Una vez que se ha rastreado una página, se indexará para que el motor de búsqueda pueda encontrarla rápidamente y así poder mostrarla en sus resultados(serps).
Lo primero que hace el rastreador de un motor de búsqueda cuando llega a un sitio es buscar un archivo robots.txt.
Si no hay ninguno, seguirá rastreando el resto del sitio con normalidad; si lo encuentra, el rastreador buscará directivas antes de continuar.
Las directivas más conocidas de un archivo robots.txt son 4:
- No permitir: evita que los rastreadores de los motores de búsqueda analicen e indexen archivos y carpetas específicos. Por lo tanto, puede evitar que se indexe; contenido duplicado, ciertas categorías, carpetas o determinados archivos en las SERP.
- Permitir: permite que los bots visiten carpetas/archivos específicos.
- Crawl-delay: le dice a los rastreadores que esperen una cierta cantidad de tiempo antes de cargar un archivo.
- Mapa del sitio: indica la ubicación de todos los mapas del sitio asociados con el sitio web.
Los archivos Robots.txt siempre tienen el mismo formato, un claro ejemplo es la imagen de a continuación:
Cada directiva comienza identificando el «agente de usuario», que suele ser un rastreador de motor de búsqueda. Si deseas aplicar el comando a todos los posibles agentes de usuario, puedes utilizar un asterisco (*).
Para apuntar a un agente de usuario específico, puedes agregar su nombre. Por ejemplo, podemos reemplazar el asterisco utilizado anteriormente con «Googlebot» para evitar que Google rastree la página de administración.
Comprender cómo crear, usar y modificar el archivo robots.txt en wordpress es fundamental. Las pautas que incluyas determinarán la forma en que los motores de búsqueda interactúan con tu sitio.
Pueden ayudarlo a ocultar el contenido del que deseas alejar a los usuarios y beneficiar el SEO general de tu sitio.
Cómo encontrar/probar un archivo Robots.txt
Puedes verificar si tu web tiene un archivo robots.txt agregando «/robots.txt» al final de la URL del dominio de tu web en el navegador. Ver imagen abajo.
Para probar el archivo robots.txt, simplemente puedes copiar y pegar el contenido en un comprobador de robots.txt. La herramienta resaltará cualquier error dentro del archivo.
Ten en cuenta que los cambios realizados en un editor de robots.txt no se aplicarán al archivo real; aún deberás editar el archivo en tu servidor.
Algunos errores comunes incluyen la prohibición de archivos CSS o JavaScript, el uso indebido de símbolos «comodín» como * y $, y la desactivación accidental de páginas importantes.
También es importante recordar que los rastreadores de búsqueda web distinguen entre mayúsculas y minúsculas, por lo que todas las URL en el archivo robots.txt deben verse exactamente como las ve un navegador.
Cómo crear un archivo Robots.txt en WordPress
Si a tu sitio le falta un archivo robots.txt, puedes crear uno fácilmente en WordPress utilizando el plugin Rank Math SEO , evitando así crear un archivo de texto sin formato y cargarlo manualmente al servidor a través del Protocolo de transferencia de archivos (FTP).
Paso 1: Ajustes generales Rank Math
Para comenzar, debes tener instalado y activado el plugin Rank Math. Inicia sesión en su panel de administración de WordPress y selecciona Rank Math> Ajustes generales:
Esto te llevará a una lista de herramientas útiles a las que los usuarios de Yoast pueden acceder para mejorar el SEO de manera eficiente.
Paso 2: usa el Editor de archivos para crear el Robots.txt en WordPress
Una de las herramientas disponibles en la lista es el editor de archivos que le permite editar los archivos relacionados con SEO de tu sitio web, incluido el archivo robots.txt.
TEN CUIDADO ! Si no ves la opción para el editor de archivos, es porque haz reforzado la seguridad de WordPress. Puedes habilitar la opción de edición de archivos eliminando la siguiente línea del archivo wp-config.php. Primero descarga una copia de dicho archivo y guardalo en tu pc. En el caso no desees eliminar la línea de código, bastará con cambiar la palabra true por false y darle a guardar.
Linea a eliminar [define («DISALLOW_FILE_EDIT», true)] 0 cambiar define («DISALLOW_FILE_EDIT», false)
Dado que tu sitio aún no tiene uno, obviamente te recomiendo que selecciones Crear archivo robots.txt. Por defecto el plugin seo crea un robots.txt lógico. Pero al eliminar o modificar la linea se te habilitará la opción de crear uno a tu medida.
Entrarás al editor de archivos, donde podrás crear y guardar tu nuevo archivo.
Paso 3: edita y guarda el archivo Robots.txt predeterminado
De forma predeterminada, el nuevo archivo de robots creado con Yoast incluye directivas para ocultar la carpeta wp-admin y permitir el acceso al archivo admin-ajax.php para todos los agentes de usuario.
Te recomiendo que dejes estas directivas:
Antes de guardar el archivo, puedes agregar cualquier otra directiva que desees incrustar. En este ejemplo, no permitimos que los rastreadores de Bing accedan a todos nuestros archivos, agregamos un retraso de rastreo de diez milisegundos al rastreador de Yahoo (Slurp) y dirigimos los rastreadores a la ubicación de nuestro sitemap.
Código para copiar y reemplazar por tu dominio web.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpUser-agent: Bingbot
Disallow: /
User-agent: Slurp
Crawl-delay: 10Sitemap: https://aquitudominio.com/sitemap_index.xml
Cuando hayas terminado de hacer los cambios, ¡no olvides guardarlos!
Cómo editar un archivo Robots.txt en WordPress
Si probaste el archivo robots.txt manualmente o con Google Search Console y encontraste algún error, puedes corregirlo fácilmente sin salir de WordPress.
Paso 1: acceda al archivo robots.txt de WordPress con Rank Math
Primero, deberás acceder al editor de archivos de Rank Math. Puedes hacer esto como se describe arriba, cuando hayas creado el nuevo archivo robots.txt.
Con el plugin Rank Math instalado y activado, ve a Rank Math> Ajustes Generales, luego selecciona el editar robots txt.
En la página resultante, verás opciones para cada uno de los archivos de tu sitio que se pueden editar con rank math, incluido el archivo robots.txt.
Asegúrate de editar el archivo correcto antes de comenzar.
Paso 2: Realiza cambios para corregir cualquier error
Si has encontrado errores en el archivo robots.txt de WordPress, puedes corregirlos y guardar los cambios en el editor de archivos. Rank Math guardará las actualizaciones en tu servidor sin ningún esfuerzo adicional de tu parte.
Como lo mencioné anteriormente, las herramientas para probar un archivos Robots.txt detectan errores, pero no realizan ningún cambio en el archivo en tu servidor.
Deberás corregir cualquier error indicado por la prueba en el editor de archivos de Rank Math. Cuando hayas terminado, haz clic en Guardar cambios en robots.txt.
Este proceso para crear y configurar un robots txt en wordpress puedes realizarlo con cualquier otro plugin de seo. A continuación te mencionaré los más utilizados.
- All in one seo
- Yoast SEO
- SeoPress
- The SEO Framework
- SEO Plugin by Squirrly SEO
- Slim SEO – Fast & Automated WordPress SEO Plugin
- Premium SEO Pack
En WordPress.org podemos encontrar plugins especificos para determinadas configuraciones o funcionalidades dado este caso, existen plugins que su principal función es crear, o modificar el robots.txt. Pueden usarse a la par con el plugin que utilices para el seo onpage. Un pequeña lista.
- WordPress Robots.txt optimization (+ XML Sitemap) – Website traffic, SEO & ranking Booster
- Robots.txt Editor
- Virtual Robots.txt
- Robots & Sitemap
- Block Archive.org via WordPress robots.txt
Así mismo dicho archivo puedes crearlo con el bloc de notas que trae por defecto windows o mac si tu página web no está creada bajo wordpress.org.
Y tu ya tienes correctamente configurado el robots.txt de tu web? Recuerda que si estás usando wordpress, el proceso de configuración y modificación es mucho más sencilla; pero con un poco de conocimiento y habilidad puedes crear uno de manera manual y subirlo a la raíz de tu hosting. Metrilinks.com brinda el servicio de seo onpage. Y tener un robots.txt es fundamental para el seo de tu web.
