U bent hier:
Een aangepast bestand robots.txt maken voor uw Omgevingssamensteller-site
Het bestand robots.txt voor uw site wordt automatisch gegenereerd. Hiermee kunnen zoekmachines uw gehele site doorzoeken. Als u zoekmachines echter wilt vertellen dat ze bepaalde pagina's van uw openbare site niet mogen doorzoeken, kunt u een aangepast bestand robots.txt maken.
Vereiste editions
| Beschikbaar in: Salesforce Classic (niet in alle organisaties beschikbaar) en Lightning Experience |
| Beschikbaar in: Enterprise, Performance en Unlimited Edition |
| Van toepassing op: LWR- en Aura-sites |
| Benodigde gebruikersmachtigingen | |
|---|---|
| Als u een Visualforce-pagina en het bestand robots.txt wilt maken voor uw site: | Omgevingen maken en instellen |
Gebruik een Visualforce pagina om een aangepast bestand robots.txt te maken. Voeg vervolgens de URL's van de pagina's die u zoekmachines wilt laten doorzoeken, toe aan de sectie Toestaan en voeg de URL's die u zoekmachines niet wilt laten doorzoeken, toe aan de sectie Niet toestaan. Een gebruikelijke manier om een aangepast bestand robots.txt te gebruiken, is door de hele site niet toe te staan en vervolgens alleen de afzonderlijke pagina's toe te voegen die zoekmachines willen doorzoeken.
Disallow: / # hides everything from ALL bots
Allow: /<path-prefix-1>/s # add path you want to open to bots
Allow: /<path-prefix-2>/s # add path you want to open to bots
Sitemap: http://<site_URL>/s/sitemap.xmlPagina's waarvan u de URL's toevoegt aan de sectie Niet toestaan, kunnen nog steeds worden weergegeven in zoekresultaten. Als een toegestane webpagina bijvoorbeeld verwijst naar een niet-toegestane URL, kan een zoekmachine de URL indexeren wanneer deze de toegestane webpagina doorzoekt. Ga voor meer informatie naar Googles Search Central-documentatie. Als u een openbare sitepagina wilt verbergen of blokkeren voor zoekresultaten, gebruikt u de noindex metatag.
-
Maak in een tekstbestand een lijst van include- en exclude-instructies (respectievelijk Allow en Disallow) voor de gebieden van uw site die u zichtbaar wilt maken of juist wilt verbergen voor zoekmachines. Neem ook het pad naar alle sitemaps voor het domein op—bijvoorbeeld
https://<site_URL>/s/sitemap.xml.Alleen relatieve URL's zijn geldig voor de include- en exclude-instructies. - Als u een Visualforce pagina wilt maken, geeft u vanuit Set-up Visualforce Pagina's op in het vak Snel zoeken. Selecteer vervolgens Visualforce-pagina's en klik op Nieuw.
-
Geef een naam op voor het aangepaste bestand. U kunt het bestand zelfs robots noemen.
- Selecteer Beschikbaar voor Lightning Experience....
-
Kopieer de lijst van indexeerinstructies en het pad naar de sitemap vanuit het tekstbestand naar de Visualforce-pagina. Bijvoorbeeld:
<apex:page contentType="text/plain"> User-agent: * Disallow: / Allow: /s Allow: /mycommunity/s Sitemap: https://example.com/s/sitemap.xml Sitemap: https://example.com/mycommunity/s/sitemap.xml </apex:page> -
Sla uw werk op.
De Visualforce-pagina wordt automatisch opgeslagen op het rootniveau van het voorkeurdomein.
- Klik vanuit Omgevingswerkruimten op Beheer | Pagina's en vervolgens op Ga naar Force.com. Klik vervolgens op de pagina Sitedetails op Bewerken.
-
Geef in het veld Site Robots.txt de naam op van de Visualforce pagina die u hebt gemaakt of klik op
om naar het bestand te zoeken.
- Sla uw werk op.
