エクスペリエンスビルダーサイトのカスタム robots.txt ファイルの作成
サイトの robots.txt ファイルは、自動的に生成されます。これにより、検索エンジンはサイト全体をクロールできます。ただし、公開サイトの特定のページをクロールしないように検索エンジンに指示する場合は、カスタム robots.txt ファイルを作成できます。
必要なエディション
| 使用可能なインターフェース: Salesforce Classic (使用できない組織もあります) および Lightning Experience |
| 使用可能なエディション: Enterprise Edition、Performance Edition、および Unlimited Edition |
| 適用されるサイト: LWR および Aura サイト |
| 必要なユーザー権限 | |
|---|---|
| サイトの Visualforce ページおよび robots.txt ファイルを作成する | 「エクスペリエンスの作成および設定」 |
Visualforce ページを使用して、カスタム robots.txt ファイルを作成します。次に、検索エンジンにクロールさせるページの URL を [許可] セクションに追加し、検索エンジンにクロールさせない URL を [禁止] セクションに追加します。カスタム robots.txt ファイルを使用する一般的な方法は、サイト全体を不許可にしてから、個々のページで検索エンジンのクロールを許可することです。
Disallow: / # hides everything from ALL bots
Allow: /<path-prefix-1>/s # add path you want to open to bots
Allow: /<path-prefix-2>/s # add path you want to open to bots
Sitemap: http://<site_URL>/s/sitemap.xml[禁止] セクションに追加した URL のページは、引き続き検索結果に表示されます。たとえば、許可された Web ページが許可されていない URL を参照している場合、検索エンジンは許可された Web ページをクロールするときに URL にインデックスを付けることができます。詳細は、Google Search Central ドキュメントを参照してください。検索結果から公開サイトページを非表示またはブロックするには、noindex メタタグを使用します。
ヒント 複数のサイトがあり、それぞれに異なるカスタムドメインサブパスがある場合、それらのサイトは同じ robots.txt ファイルを共有します。そのため、カスタム robots.txt ファイルを作成するときは、検索エンジンのクロール ディレクティブがすべてのサイトのすべてのページを対象にするようにします。
-
テキストファイルで、検索エンジンに公開または非公開にするサイトの領域に対する包含 (Allow) および除外 (Disallow) ディレクティブのリストを作成します。また、ドメインのすべてのサイトマップへのパス (
https://<site_URL>/s/sitemap.xmlなど) を含めます。Allow および Disallow ディレクティブでは、相対 URL のみが有効です。 - Visualforce ページを作成するには、[設定] から [クイック検索] ボックスに「Visualforce ページ」と入力します。そして、[Visualforce ページ] を選択し、[新規] をクリックします。
-
カスタムファイルに名前を付けます。任意の名前 (robots など) を付けます。
- [Lightning Experience、エクスペリエンスビルダーサイト、およびモバイルアプリケーションで利用可能] を選択します。
-
インデックス付けディレクティブのリストおよびサイトマップパスをテキストファイルから Visualforce ページにコピーします。次に例を示します。
<apex:page contentType="text/plain"> User-agent: * Disallow: / Allow: /s Allow: /mycommunity/s Sitemap: https://example.com/s/sitemap.xml Sitemap: https://example.com/mycommunity/s/sitemap.xml </apex:page> -
作業内容を保存します。
Visualforce ページは、優先ドメインのルートレベルに自動的に保存されます。
- エクスペリエンスワークスペースから、[管理] | [ページ] をクリックし、[Force.com に移動] をクリックします。次に、[サイトの詳細] ページで [編集] をクリックします。
-
[Site Robots.txt] 項目に、作成した Visualforce ページの名前を入力するか、[
] をクリックしてファイルを検索します。
- 作業内容を保存します。
この記事で問題は解決されましたか?
ご意見をお待ちしております。
