Usted está aquí:
Crear un archivo robots.txt personalizado para su sitio de Experience Builder
El archivo robots.txt para su sitio se genera automáticamente. Permite a los motores de búsqueda rastrear todo su sitio. Sin embargo, si desea indicar a los motores de búsqueda que no rastreen ciertas páginas de su sitio público, puede crear un archivo robots.txt personalizado.
Ediciones necesarias
| Disponible en: Salesforce Classic (no disponible en todas las organizaciones) y Lightning Experience |
| Disponible en: Enterprise Edition, Performance Edition y Unlimited Edition |
| Se aplica a: sitios LWR y Aura |
| Permisos de usuario necesarios | |
|---|---|
| Para crear una página de Visualforce y el archivo robots.txt para su sitio: | Crear y configurar experiencias |
Utilice una página Visualforce para crear un archivo robots.txt personalizado. Luego agregue las direcciones URL de las páginas que desea que los motores de búsqueda rastreen a la sección Permitir y agregue las direcciones URL que no desea que los motores de búsqueda rastreen a la sección No permitir. Una forma común de utilizar un archivo robots.txt personalizado es desactivar su sitio completo y luego permitir de forma selectiva indexar páginas individuales.
Disallow: / # hides everything from ALL bots
Allow: /<path-prefix-1>/s # add path you want to open to bots
Allow: /<path-prefix-2>/s # add path you want to open to bots
Sitemap: http://<site_URL>/s/sitemap.xmlLas páginas cuyas direcciones URL agregue a la sección No permitir pueden seguir apareciendo en los resultados de búsqueda. Por ejemplo, si una página web permitida apunta a una URL no permitida, un motor de búsqueda puede indexar la URL cuando está rastreando la página web permitida. Obtenga más información en la Documentación central de búsqueda de Google. Para ocultar o bloquear una página de sitio pública de los resultados de búsqueda, utilice la etiqueta meta noindex.
-
En un archivo de texto, cree una lista de directrices incluir (Habilitar) y excluir (Deshabilitar) para las áreas de su sitio que desea exponer u ocultar en motores de búsqueda. Incluya también la ruta a todos los mapas de sitio para el dominio, por ejemplo,
https://<site_URL>/s/sitemap.xml.Solo las direcciones URL relativas son válidas para directivas Habilitar y Deshabilitar. - Para crear una página de Visualforce, en Configuración, ingrese Páginas de Visualforce en el cuadro Búsqueda rápida. A continuación, seleccione Páginas de Visualforce y haga clic en Nueva.
-
Asigne un nombre al archivo personalizado. Puede incluso llamarlo robots.
- Seleccione Disponible para Lightning Experience....
-
Copie su lista de directrices de indexado y la ruta de mapa de sitio desde el archivo de texto a la página de Visualforce. Por ejemplo:
<apex:page contentType="text/plain"> User-agent: * Disallow: / Allow: /s Allow: /mycommunity/s Sitemap: https://example.com/s/sitemap.xml Sitemap: https://example.com/mycommunity/s/sitemap.xml </apex:page> -
Guarde su trabajo.
La página de Visualforce se guarda automáticamente en el nivel raíz del dominio preferido.
- Desde Espacios de trabajo de Experience, haga clic en Administración | Páginas y luego haga clic en Ir a Force.com. A continuación, haga clic en Modificar en la página Detalles del sitio Web.
-
En el campo Site Robots.txt, ingrese el nombre de la página de Visualforce que creó o haga clic en
para buscar el archivo.
- Guarde su trabajo.
