Data 360 の Web コンテンツ (クローラー) コネクタでクレジットの消費量が大きくなるときの対策

Web コンテンツ (クローラー) コネクタによるクレジットの消費量を抑えるための回避策を説明します。サイトの更新頻度や構成に応じて、データストリーム設定の調整や接続方式の変更を行うことで、処理頻度や取り込みページ数を効果的に管理できます。

クレジットの消費を削減するために、以下の 5 つの方法をご検討ください。

[スケジュール] の実行頻度を変更し、検索インデックスの処理頻度を下げます。サイト側の更新頻度が低い場合に有効です。

Web Content (Crawler) を使用する場合、 [クロール深度] を低く設定することで、取り込みページ数を抑えて消費を削減できます。

[含まれるページ要素] や [含まれるウェブページ] の設定を調整し、不必要なデータの処理やクロールを削減します。

[含まれるページ要素] の指定： jQuery セレクターを指定し、取り込む HTML 要素を限定します。デフォルトではページ全体が取り込まれるため、特定の要素のみに絞り込むことで、不要なデータ処理を減らして消費量を抑えることができます。
[含まれるウェブページ] の指定： 正規表現を使用して、対象となる URL を限定します。未設定 (空白) の場合はドメイン配下の全ページがクロールされるため、特定のパス (例： .*/content/.*) のみに絞り込むことで消費を抑えられます。

テキスト情報だけでなく、ページ内の画像データも一緒に読み込んで処理するため、データ処理量が多くなりクレジットの消費量が増加します。画像の取り込み設定をオフにすることで、クレジットの消費を抑えられます。

サイトのサイトマップが利用可能な場合は、 Sitemap 連携での接続を推奨します。取得する URL があらかじめ確定しているため、不要なページへのクロールを防ぎ、処理量を効果的に抑えることができます。

注意事項

既存の Web Content (Crawler) のデータストリーム設定を編集して Sitemap 連携へ変更することはできません。
Sitemap 連携を利用する場合は、新規に Web Content (Sitemap) コネクタの接続を設定し、データストリームを新規作成する必要があります。

設定の変更手順

データストリームを編集して上記の設定を適用する手順は以下の通りです。

[アプリケーションランチャー] から [Data Cloud] を選択します。
[データストリーム] タブを選択します。
対象となる Web Content 接続のデータストリームを探します。
右上の ▼ アイコンから [データストリームを編集] をクリックします。
必要な設定 ( [クロール深度] 、 [含まれるページ要素] 、 [含まれるウェブページ] 、[Included File Types]、[スケジュール] など) を変更します。
変更を保存します。

詳細は以下をご参照ください。