Qué es el archivo robots.txt y para qué sirve
Un archivo robots.txt es un archivo de texto que se utiliza para decirle a los rastreadores de los motores de búsqueda qué URL del sitio web pueden o no rastrear. Es decir, sirve para especificar qué partes del sitio web deben ser indexadas y cuáles ignoradas por los buscadores, lo que puede ayudar a controlar la visibilidad de cierto contenido dentro de los resultados de búsqueda.etiquetas: rastreador, indexador, buscador, indexar, google, bot, web» noticia original (www.cyberclick.es)
Un archivo robots.txt es un archivo de texto que se utiliza para decirle a los rastreadores de los motores de búsqueda qué URL del sitio web pueden o no rastrear. Es decir, sirve para especificar qué partes del sitio web deben ser indexadas y cuáles ignoradas por los buscadores, lo que puede ayudar a controlar la visibilidad de cierto contenido dentro de los resultados de búsqueda.
etiquetas: rastreador, indexador, buscador, indexar, google, bot, web
» noticia original (www.cyberclick.es)
