为体验生成器站点创建自定义 robots.txt 文件
站点的 robots.txt 文件将自动生成。它允许搜索引擎抓取您的整个站点。但如果您要使搜索引擎不抓取公共站点的特定页面，您可以创建自定义 robots.txt 文件。
所需的 Edition
| 适用于：Salesforce Classic（并非在所有组织中可用）和 Lightning Experience |
| 适用于：Enterprise、Performance 和 Unlimited Edition |
| 适用于：LWR 和 Aura 站点 |
| 所需用户权限 | |
|---|---|
| 为您的站点创建 Visualforce 页面和 robots.txt 文件： | 创建并设置体验 |
使用 Visualforce 页面创建自定义 robots.txt 文件。然后，将您希望搜索引擎抓取的页面的 URL 添加到“允许”部分，并将您不希望搜索引擎抓取的 URL 添加到“不允许”部分。使用自定义 robots.txt 文件的常见方法是不允许整个站点,然后有选择地允许搜索引擎抓取各个页面。
Disallow: / # hides everything from ALL bots
Allow: /<path-prefix-1>/s # add path you want to open to bots
Allow: /<path-prefix-2>/s # add path you want to open to bots
Sitemap: http://<site_URL>/s/sitemap.xml您添加到“不允许”部分的 URL 仍可以显示在搜索结果中的页面。例如，如果允许的网页指向不允许的 URL，搜索引擎可以在抓取允许的网页时索引该 URL。在 Google 的搜索中心文档中了解更多信息。要从搜索结果中隐藏或阻止公共站点页面，请使用 noindex 元标记。
提示 如果您有多个站点，每个站点都有不同的自定义域子路径，则它们共享 robots.txt 文件。因此,在您创建自定义 robots.txt 文件时,确保搜索引擎爬网指令涵盖所有站点中的所有页面。
-
在文本文件中，对于您想要对搜索引擎公开或隐藏的站点区域，创建包含（允许）和排除（不允许）指令的列表。还包括域的所有站点地图的路径，例如
https://<site_URL>/s/sitemap.xml。对于允许和不允许指令，只有相对 URL 有效。 - 要创建 Visualforce 页面，从“设置”中，在快速查找框中输入 Visualforce 页面。然后，选择 Visualforce 页面，并单击新建。
-
为自定义文件命名。您甚至可以称其为 robots。
- 选择适用于 Lightning Experience...。
-
将索引指令的列表和站点地图路径从文本文件复制到 Visualforce 页面。例如：
<apex:page contentType="text/plain"> User-agent: * Disallow: / Allow: /s Allow: /mycommunity/s Sitemap: https://example.com/s/sitemap.xml Sitemap: https://example.com/mycommunity/s/sitemap.xml </apex:page> -
保存您的工作。
Visualforce 页面会自动保存到首选域的根级别。
- 从体验工作区中，单击管理 | 页面，然后单击转到 Force.com。然后，单击“站点详细信息”页面上的编辑。
-
在站点 Robots.txt 字段中，输入您创建的 Visualforce 页面的名称，或单击
搜索文件。
- 保存您的工作。
本文章是否解决您的问题？
请与我们共享您的想法，以便我们进行改进！
