¿Desea optimizar su archivo robots.txt de WordPress? ¿No está seguro de por qué y cómo el archivo robots.txt es importante para su SEO? Te tenemos cubierto. En este artículo, le mostraremos cómo optimizar su archivo robots.txt de WordPress para SEO y lo ayudará a comprender la importancia del archivo robots.txt.
Recientemente, un usuario nos preguntó si necesitan un archivo robots.txt y cuál es su importancia. El archivo robots.txt de su sitio juega un papel importante en el rendimiento general de SEO de su sitio. Básicamente, le permite comunicarse con los motores de búsqueda y hacerles saber qué partes de su sitio deben indexar.
¿Realmente necesito un archivo Robots.txt?
La ausencia de un archivo robots.txt no impedirá que los motores de búsqueda rastreen e indexen su sitio web. Sin embargo, es muy recomendable que crees uno. Si desea enviar el mapa del sitio XML de su sitio a los motores de búsqueda, aquí es donde los motores de búsqueda buscarán su mapa del sitio XML a menos que lo haya especificado en las Herramientas para webmasters de Google.
Recomendamos encarecidamente que, si no tiene un archivo robots.txt en su sitio, cree inmediatamente uno.
¿Dónde está el archivo Robots.txt? Cómo crear un archivo Robots.txt?
El archivo Robots.txt generalmente reside en la carpeta raíz de su sitio. Tendrá que conectarse a su sitio usando un cliente FTP o usando el administrador de archivos cPanel para verlo.
Es como cualquier archivo de texto ordinario, y puede abrirlo con un editor de texto plano como el Bloc de notas.
Si no tiene un archivo robots.txt en el directorio raíz de su sitio, entonces siempre puede crear uno. Todo lo que necesita hacer es crear un nuevo archivo de texto en su computadora y guardarlo como robots.txt. A continuación, simplemente cárguelo en la carpeta raíz de su sitio.
Cómo usar el archivo Robots.txt?
El formato para el archivo robots.txt es bastante simple. La primera línea usualmente nombra un agente de usuario. El agente de usuario es en realidad el nombre del bot de búsqueda con el que intenta comunicarse. Por ejemplo, Googlebot o Bingbot. Puede usar asterisco * para instruir a todos los bots.
La siguiente línea sigue con las instrucciones Permitir o No permitir para los motores de búsqueda, para que sepan qué partes desea que indexen y cuáles no desea indizar.
Ver un archivo robots.txt de ejemplo:
Agente de usuario: * Permitir: / wp-content / uploads / No permitir: / wp-content / plugins / No permitir: /readme.html
En este archivo robots.txt de ejemplo para WordPress, hemos ordenado a todos los bots que indexen nuestro directorio de carga de imágenes.
En las siguientes dos líneas, les hemos prohibido indexar nuestro directorio de complementos de WordPress y el archivo readme.html.
Optimizando su archivo Robots.txt para SEO
En las directrices para webmasters, Google aconseja a los webmasters que no utilicen el archivo robots.txt para ocultar contenido de baja calidad. Si estaba pensando en utilizar el archivo robots.txt para evitar que Google indexe su categoría, fecha y otras páginas de archivo, puede que no sea una buena elección.
Recuerde, el propósito de robots.txt es instruir a los bots sobre qué hacer con el contenido que rastrean en su sitio. No impide que los robots rastreen su sitio web.
Hay otros complementos de WordPress que le permiten agregar metaetiquetas como nofollow y noindex en sus páginas de archivo. El plugin WordPress SEO también te permite hacer esto. No estamos diciendo que debería tener sus páginas de archivo desindexadas, pero si quería hacerlo, entonces esa es la manera correcta de hacerlo.
No es necesario que agregue su página de inicio de sesión de WordPress, su directorio de administración o su página de registro a robots.txt porque las páginas de inicio de sesión y registro no tienen etiquetas de metadatos agregadas como etiquetas meta por WordPress.
Se recomienda que deshabilite el archivo readme.html en su archivo robots.txt. Este archivo Léame puede ser utilizado por alguien que está tratando de averiguar qué versión de WordPress está usando. Si se trata de un individuo, entonces pueden acceder fácilmente al archivo simplemente navegando hacia él.
Por otro lado, si alguien está ejecutando una consulta maliciosa para localizar sitios de WordPress utilizando una versión específica, esta etiqueta no permitida puede protegerlo de esos ataques masivos.
También puede rechazar su directorio de plugins de WordPress. Esto fortalecerá la seguridad de su sitio si alguien está buscando un complemento vulnerable específico para explotarlo para un ataque masivo.
Agregar su mapa del sitio XML al archivo Robots.txt
Si está utilizando el plugin SEO de WordPress de Yoast o algún otro plugin para generar su mapa del sitio XML, entonces su plugin intentará agregar automáticamente sus líneas relacionadas al mapa del sitio en el archivo robots.txt.
Sin embargo, si falla, su plugin le mostrará el enlace a su XML Sitemaps que puede agregar manualmente a su archivo robots.txt de la siguiente manera:
Mapa del sitio: http://www.example.com/post-sitemap.xml Mapa del sitio: http://www.example.com/page-sitemap.xml
¿Qué aspecto debería tener un archivo Ideal Robots.txt?
Honestamente, muchos blogs populares usan archivos robots.txt muy simples. Su contenido varía, dependiendo de las necesidades del sitio específico:
Agente de usuario: * Rechazar: Mapa del sitio: http://www.example.com/post-sitemap.xml Mapa del sitio: http://www.example.com/page-sitemap.xml
Este archivo robots.txt simplemente le dice a todos los bots que indexen todo el contenido y proporciona los enlaces a los sitemaps XML del sitio.
sitio
Agente de usuario: * Permitir: /? Display = wide Permitir: / wp-content / uploads / No permitir: / wp-content / plugins / No permitir: /readme.html No permitir: / referir / Mapa del sitio: http://www.site.com/post-sitemap.xml Mapa del sitio: http://www.site.com/page-sitemap.xml Mapa del sitio: http://www.site.com/deals-sitemap.xml Mapa del sitio: http://www.site.com/hosting-sitemap.xml
