ハイブリッド検索

たとえば、ベクトル検索では「アカウントへのログイン方法」が理解されます。「How can I sign on? (サインオン方法は?)」は同様のクエリです。ただし、ベクトル検索では、「LaserPrinter TX 400」と「LaserPrinter TX 440」の検索も、数値や LaserPrinter などの特定のドメイン用語にうまく一致せず、キーワード検索で類似していることが理解できない場合があります。

ハイブリッド検索では、DMO または UDMO の情報がインデックス付けされ、関連する結果が取得されます。ハイブリッド検索インデックスを作成する前に、DMO と UDMO に保存されている非構造化データがチャンクされます。チャンクにより、DMO と UDMO が管理可能で意味的な単位に分割されます。

次に、データインデックス付けによって、ベクトル検索インデックスと DMO および UDMO のキーワード検索インデックスのベクトル埋め込みが生成されます。検索インデックスの作成、削除、ハイドレーションは、Data 360 検索インデックス UI インターフェースと API を使用して管理します。

ハイブリッド検索では、ベクトル検索インデックスは意味的な類似性に基づいて情報を取得するために照会され、キーワード検索インデックスは語彙的な類似性に基づいて情報を取得するために照会されます。ハイブリッド検索では、両方の種別の検索で提供された結果がマージされてランク付けされ、最適な応答が生成されます。また、返される検索結果に影響を与えるために、レコードの最近性や人気度などの追加のランキング要素を設定することもできます。

Data 360 で検索インデックスを作成したら、プロンプトビルダー、AI エージェント、Tableau などのアプリケーションからそのデータに対して検索を実行できます。

• 高度な設定を使用したハイブリッド検索インデックスの作成
  DMO(データ モデル オブジェクト)またはUDMO(非構造化データ モデル オブジェクト)のハイブリッド検索インデックスを設定して、生成AIアプリケーションに関連情報を提供します。Data 360 は、参照されるデータをセマンティックに関連するチャンクに分割して検索可能なベクトルを生成し、ベクトルインデックスとキーワードインデックスを生成します。
• クエリ API を使用したハイブリッド検索クエリの実行
  Data 360 でハイブリッド検索を実行するには、クエリ API を使用します。 次の例を出発点として使用します。
• ハイブリッド検索クエリ式
  事前絞り込み項目と結合式を使用してハイブリッド検索クエリを強化し、項目にアクセスします。
• ハイブリッド検索フュージョンランキング
  ランキングでは、ユーザークエリに最も関連性の高い結果が先頭に表示されるように検索結果が並び替えられます。Data 360ハイブリッド検索では、クエリとの類似性に基づいてキーワードとベクトルの2つのインデックスから結果を取得し、結果をマージ(融合)します。その後、ランキングモデルはマージされた結果をランク付けします。
• 影響ハイブリッド検索の関連性ランキング
  関連性固有のパラメーターを送信することで、検索インデックススクエリ結果の精度を高め、RAG アプリケーションの品質を向上させます。SQL を使用して、サポートされるフュージョンランカーモデルの関連性設定を送信し、特定の使用事例の結果の関連性を改善できます。
• ハイブリッド検索の自動ドロップの結果
  関連性スコアの急減を示す結果を動的に除外して、プロンプトと RAG の使用事例の検索結果の精度を高めます。Data 360ハイブリッド検索の自動ドロップは、プロンプトビルダーなどのアップストリームアプリケーションがそれらの結果を使用して誤解を招く可能性がある無関係な検索結果を除外する方法です。
• ハイブリッド検索のベストプラクティス
  適切な項目を分割し、事前絞り込み項目を選択し、ランキング要素を追加して、ハイブリッド検索の取得と検索の関連性を強化します。
• ハイブリッド検索自動ドロップのベストプラクティス
  次のベストプラクティスを使用して、Data 360 ハイブリッド検索結果の自動ドロップを設定します。