Especificaciones de robots.txt | Búsqueda para desarrolladores
Resumen
En este documento se explica cómo interpreta Google los ficheros robots.txt, con los que puedes supervisar cómo rastrean y también indexan los rastreadores de Google los sitios web de acceso público.
Novedades
El 1 de julio del 2019,que se está trabajando parael protocolo robots.txt. Los cambios realizados en este sentido se describen en este documento.
Lista de novedades
Estos son los cambios:
- Se ha eliminado la sección sobre el idioma de los requisitos de este documento pues el idioma es específico del borrador de Internet.
- El fichero robots.txt ahora acepta todos los protocolos.
- Google sigue al menos 5 redirecciones. Como todavía no se ha logrado ninguna regla, se siguen cuando menos cinco redirecciones; si no se halla el archivo robots.txt, Google estima que se ha producido un fallo cuatrocientos cuatro. No se recomienda gestionar redirecciones lógicas en el fichero robots.txt según el contenido HTML que devuelva códigos de resultado 2xx (redirecciones de actualizaciones de metaetiquetas, de JavaScript o bien de marcos). El contenido de la primera página se emplea para encontrar reglas aplicables.
- En el caso de que se devuelva un fallo 5xx, si el robot de Google no puede acceder al fichero robots.txt a lo largo de más de 30 días, se utilizará la copia en caché más reciente del archivo; si no existe ninguna, Google estima que no hay ninguna restricción de rastreo.
- Google estima que las solicitudes que no se realizan apropiadamente y los datos incompletos son errores del servidor.
- Los "registros" ahora se llaman "líneas" o "reglas", según corresponda.
- Google no puede procesar los elementos
<field>que incluyan fallos simples o bien tipográficos; por poner un ejemplo, "useragent" en vez de "user-agent". - En estos instantes, Google solo lee 500(KiB) del fichero robots.txt, por lo que, si es más grande, ignora el contenido que exceda este límite.
- Se ha actualizado la sintaxis formal para convertirla en una notación aumentada de Backus-Naur (ABNF) válida segúny para que se puedan emplear caracteres UTF-8 en el fichero robots.txt.
- Se ha actualizado la definición de "grupos" para hacerla más breve y precisa. posicionamiento redes sociales toledo ha añadido un ejemplo de grupo vacío.
- Se han eliminado las referencias al esquema de rastreo obsoleto de Ajax.
Definiciones básicas
Aplicaciones
Todos los rastreadores automatizados de Google prosiguen las indicaciones que se señalan en este documento. Sin embargo, estas directrices no se aplican cuando un agente accede a las URL representando a un usuario para, por servirnos de un ejemplo, traducir la página, acceder a feeds de suscripción manual o bien examinar contenido en busca de software malicioso.
Ubicación del archivo y periodo de validez
El archivo robots.txt debe incluirse en el directorio de nivel superior del host, y se debe poder acceder a él a través del protocolo y del número de puerto apropiados. Todos los protocolos que acostumbran a aceptarse para acceder a este fichero sey, concretamente en el caso de la Búsqueda de Google, (por ejemplo, para rastrear de sitios) son "http" y "https". Cuando se emplean estos 2 protocolos, el fichero robots.txt se consigue a través de una petición HTTP GET no condicional.
Elementos específicos de Google: Google también acepta y rastrea archivos robots.txt en sitios web FTP. A los archivos robots.txt basados en FTP se accede mediante este protocolo, usando unas credenciales de acceso anónimas.
Las directivas que se incluyen en el archivo robots.txt se aplican únicamente al host, al protocolo y al número de puerto en el que se aloja el fichero.
Ejemplos de URLs de archivo robots.txt válidas
/
/folder/file
/
/
:8181/
Válida para:
/
No válida para:
/
/
/
üller.eu/
--mller-kva.eu/
No válida para:
/
Válida para:
ftp://example.com/
No válida para:
/
Valor específico de Google: utilizamos el fichero robots.txt también con recursos FTP.
Válida para:
/
No válida para:
/(si bien esté alojado en 212.96.82.21)
Válida para:
:80/
/
No válida para:
:81/
Válida para:
:8181/
No válida para:
/
Uso de los códigos de resultado HTTP
Por lo general, al acceder a los archivos robots.txt, se consiguen 3 resultados diferentes:
- full allow (permiso completo): se puede rastrear todo el contenido.
- full disallow (ningún permiso): no se puede rastrear ningún contenido.
- conditional allow (permiso condicional): las directivas incluidas en el archivo robots.txt determinan si se puede rastrear un contenido determinado.
Los errores del servidor se consideran fallos temporales que devuelven el resultado "full disallow". La petición se marcha enviando hasta que se consigue un código de resultado HTTP sin fallo del servidor. Por ejemplo, los errores quinientos tres (Servicio no disponible) acostumbran a provocar este comportamiento. Si el robot de Google no puede acceder al fichero robots.txt a lo largo de más de treinta días, se utilizará la copia en caché más reciente del fichero. Si no existe ninguna, Google considera que no existe ninguna restricción de rastreo. Para suspender de forma temporal el rastreo, se aconseja enseñar un código de resultado HTTP 503.
Elemento específico de Google: si observamos que un sitio web se ha configurado de forma incorrecta y, cuando faltan páginas, devuelve un error 5xx y no uno 404, trataremos el fallo 5xx de ese sitio tal y como si fuera un fallo cuatrocientos cuatro.
Formato de archivo
Se aguardan archivos de texto sin formato con codificación. Las distintas líneas del fichero deben estar separadas por CR, CR/LF o LF.
Solo se tienen en cuenta las líneas válidas; el resto del contenido se ignora. Por servirnos de un ejemplo, si el documento es una página HTML, solo se tendrán en cuenta las líneas de texto válidas; las demás se ignorarán y no se mostrará ningún mensaje de advertencia o de fallo.
Es posible que el contenido del archivo no se analice apropiadamente si se utiliza una codificación que genere caracteres que no representen un subconjunto de UTF-ocho.
Si hay una marca de orden de bytesUnicode opcional al comienzo del archivo robots.txt, se ignora.
Para que una línea sea válida, debe estar formada por un campo, 2 puntos (:) y un valor. Los espacios son opcionales, si bien recomendamos usarlos para mejorar la legibilidad del fichero. Se pueden incluir comentarios en cualquier parte del archivo precedidos del carácter "#". Todo el contenido que se introduce entre el inicio de un comentario y el final de la línea se considera como tal y se ignora. El formato general es
<field>:<value><#optional-comment>. Los espacios en blanco al principio y al final de una línea se ignoran.
El elemento
<field>no distingue entre mayúsculas y minúsculas. En cambio, el factor <value>puede que sí distinga entre mayúsculas y minúsculas, en función del elemento <field>.
No se pueden procesar los elementos
<field>que incluyan errores simples o tipográficos; por ejemplo, "useragent" en vez de "user-agent".
Se puede implementar un tamaño del archivo máximo en cada rastreador. El contenido que supere el tamaño máximo del archivo se ignorará. En estos momentos, Google aplica un límite de tamaño de 500(KiB). Si tu archivo robots.txt es demasiado grande, combina directivas para reducir su tamaño. seo y marketing online ejemplo, pone el material que deseas excluir en otro directorio.
Definición y sintaxis formal
A continuación, se describe la notación aumentada de Backus-Naur (ABNF), tal y como se describe en.
Agrupación de líneas y reglas
Una o bien múltiples líneas de user-agent seguidas de una o múltiples reglas. Los conjuntos acaban con una línea de usuario-agent o bien cuando se llega al final del archivo. Es posible que el último conjunto no tenga ninguna regla, lo que implica que lo deja todo.
Grupos de ejemplo:
Se señalan cuatro conjuntos diferentes: el primero afecta a "a"; el segundo, a "b", y el tercero a "e" y a "f" al unísono. Salvo el último conjunto, todos tienen su propia línea de miembros de grupo. El último grupo está vacío. Fíjate que, de forma opcional, se han incluido espacios en blanco y líneas vacías para prosperar la legibilidad.
Orden de prioridad de los usuario-agent
A cada rastreador solo se le puede aplicar un conjunto. Para determinar qué grupo es el adecuado, el rastreador busca el grupo que coincida que tenga el user-agent más específico e ignora el resto. El campo User-agent distingue entre mayúsculas y minúsculas. La una parte de texto que no coincida se ignora (por ejemplo, tanto
googlebot/1.2como
googlebot*son equivalentes a
googlebot). No importa el orden en el que aparezcan los grupos en el fichero robots.txt.
Si hay más de un grupo que afecta a un user-agent concreto, a ese usuario-agent se le aplicarán todas y cada una de las reglas de esos grupos.
Ejemplo
Si tenemos el próximo archivo robots.txt:
Los rastreadores elegirían el grupo pertinente del siguiente modo:
Consulta también información sobre los.
Reglas de miembros de grupos
En esta sección, solo se tratan las reglas estándar de los miembros de grupos. En el caso de los rastreadores, estas reglas también se llaman "directivas". Estas directivas se especifican con el formato
directive: [path], en el que el valor
[path]es opcional. De forma predeterminada, no se aplican restricciones de rastreo a los rastreadores detallados. Las directivas que no tengan
[path]se ignoran.
Si se detalla, se cree que el valor
[path]es relativo a la raíz del sitio web a cuyo archivo robots.txt se ha accedido, con exactamente el mismo protocolo, número de puerto y nombres de dominio y de host. El valor de la ruta debe iniciar por "/", que señala la raíz. La senda distingue entre mayúsculas y minúsculas. Para conseguir más información, se puede consultar la sección "Coincidencias de URL en función de los valores de ruta" que aparece a continuación.
Directiva disallow
La directiva
disallowespecifica las rutas a las que los rastreadores indicados no deben acceder. Cuando no se especifica ninguna ruta, se ignora la directiva.
Uso:
Directiva allow
La directiva
allowespecifica las sendas a las que los rastreadores indicados pueden acceder. Cuando no se especifica ninguna senda, se ignora la directiva.
Uso:
Coincidencias de URL en función de los valores de ruta
El valor de ruta se utiliza como base para determinar si una regla se aplica o no a una URL específica de un sitio. A excepción de los comodines, la ruta se usa a fin de que coincida con el principio de una URL (y con cualquier URL válida que comience por exactamente la misma ruta). Los caracteres ASCII que no sean de siete bits que aparezcan en una ruta se pueden incluir como caracteres UTF-8 o bien como caracteres UTF-ocho codificados con tanto por ciento como carácter de escape según.
Google, Bing y otros buscadores web principales admiten utilizar "comodines" limitados en los valores de senda. Se trata de los siguientes:
*indica 0 o bien más casos de cualquier carácter válido.
$indica el final de la URL.
Coincide con estas rutas:
/fish
/fish.html
/fish/salmon.html
/fishheads
/fishheads/yummy.html
/fish.php?id=anything
No coincide con estas rutas:
/Fish.asp
/catfish
/?id=fish
Es equivalente a
/fish. El comodín final se ignora.
Coincide con estas rutas:
/fish
/fish.html
/fish/salmon.html
/fishheads
/fishheads/yummy.html
/fish.php?id=anything
No coincide con estas rutas:
/Fish.asp
/catfish
/?id=fish
La barra inclinada posterior señala que esta ruta coincide con cualquiera incluida en esta carpetita.
Coincide con estas rutas:
/fish/
/fish/?id=anything
/fish/salmon.htm
No coincide con estas rutas:
/fish
/fish.html
/Fish/Salmon.asp
Coincide con estas rutas:
/filename.php
/folder/filename.php
/folder/filename.php?parameters
/folder/any.php.file.html
/filename.php/
No coincide con estas rutas:
/(si bien se asigne a /index.php)
/windows.PHP
Coincide con estas rutas:
/filename.php
/folder/filename.php
No coincide con estas rutas:
/filename.php?parameters
/filename.php/
/filename.php5
/windows.PHP
Coincide con estas rutas:
/fish.php
/fishheads/catfish.php?parameters
No coincide con estas rutas:
/Fish.PHP
Líneas de miembros que no pertenecen al grupo que Google admite
Google, Bing y otros buscadores principales admiten
sitemap, tal y como se define en.
Uso:
[absoluteURL]debe llevar a un sitemap, a un índice de sitemap o bien a una URL equivalente. No es necesario que la URL esté en el mismo host que el archivo robots.txt. Pueden existir varias entradas
sitemap. Como se trata de líneas de miembros que no pertenecen al conjunto, estos no están vinculados a ningún user-agent específico, y todos y cada uno de los rastreadores pueden seguirlos, siempre que esté permitido.
Orden de prioridad de líneas de miembros de grupos
A nivel de miembro de grupo, precio posicionamiento web toledo
allowy
disallow, la regla más específica en función de la longitud de la entrada
[path]prevalece sobre la menos específica (más corta). En caso de reglas en enfrentamiento, incluidas las que tienen comodines, se emplea la regla menos restrictiva.
allow
:
/p
disallow
:
/
Resultado:
allow
allow
:
/folder
disallow
:
/folder
Resultado:
allow
allow
:
/page
disallow
:
/*.htm
Resultado:
undefined
allow
:
/ dólares americanos
disallow
:
/
Resultado:
allow
allow
:
/ dólares americanos
disallow
:
/
Resultado:
disallow
