Ti trovi qui:
Influenza classificazione della pertinenza della ricerca ibrida
Aumentare la precisione dei risultati delle query sull'indice di ricerca e migliorare la qualità delle applicazioni RAG inviando parametri specifici per la pertinenza. Utilizzando SQL, è possibile inviare le impostazioni di configurazione della pertinenza per i modelli di classificazione fusione supportati e migliorare la pertinenza dei risultati per il proprio caso d'uso specifico.
La ricerca ibrida supporta tre modelli di classificazione della fusione: il modello Reciprocal Rank Fusion (RRF) standard del settore, un modello Linear Fusion Ranker (LFR) personalizzabile e un modello Deep Fusion Ranker (DFR) più robusto.
Una query di ricerca ibrida accetta una stringa JSON che rappresenta l'impostazione di configurazione della pertinenza.
select * from hybrid_search(
table(<Search_index_DMO>),
‘<Search_string>’,
'<PreFilteringColumn><Operator><Value>',
'<Limit_results>',
‘<”Relevance Ranking Configuration” (JSON)>’
);
Modello di fusione di rango reciproco
Il modello Reciprocal Rank Fusion (RRF) utilizza una formula di fusione di classificazione reciproca che considera il peso di ogni tipo di ricerca per ottenere i risultati più pertinenti.
La formula di fusione di rango reciproco è la somma dei punteggi di entrambi i ranghi di ricerca di parole chiave (sparsa) e di ricerca vettoriale (densa) con decadimento predefinito k=60. La formula fornisce anche un parametro alfa, che controlla il peso sparso in una combinazione convessa dei due punteggi. I risultati della ricerca vengono classificati utilizzando la somma derivata dalla formula di fusione della classificazione RRF.
Ad esempio, questa espressione di query di ricerca ibrida passa il parametro peso della ricerca per parola chiave (sparse) per il modello RRF.
select * from hybrid_search(
table(<Search_index_DMO>),
‘<Search String>’,
'<PreFilteringColumn><Operator><Value>',
'<Limit Results>',
‘{ "rrf": { "keyword_weight": 0.4 } }’
);
Parametri di input per la configurazione della pertinenza:
- rrf: Abilitazione del modello Reciprocal Ranking Fusion
- keyword_weight: L'importanza o il peso del componente di ricerca per parola chiave nella ricerca ibrida. L'intervallo è compreso tra zero e uno. L'importanza della ricerca vettoriale viene calcolata automaticamente sottraendo il peso della parola chiave da 1,0.
Il modello RRF supporta anche una formula avanzata che può influire sui fattori di classificazione configurati quando si crea l'indice di ricerca. Per ulteriori informazioni sui fattori di classificazione, vedere Classifica fusione ricerca ibrida.
Parametri di input per la configurazione della pertinenza nella formula RRF avanzata:
- Alpha (a): rappresenta l'importanza data alla ricerca di parole chiave. Il valore predefinito è 0,5f
- Beta (B): rappresenta l'importanza data alla ricerca vettoriale ed è calcolata in base all'importanza data alla ricerca di parole chiave (1-alpha).
- Gamma (Y): rappresenta l'importanza della popolarità dei fattori di classificazione. Il valore predefinito è 0,00074478f. Il massimo è 1.
- Delta (D): rappresenta l'importanza data alla recenza dei fattori di classificazione. Il valore predefinito è 0,00028472f. Il massimo è 1.
Specificare l'importanza dei pesi nella query. Modificare e perfezionare i valori con incrementi ridotti per assicurarsi di ottenere la pertinenza giusta per i risultati.
Modello di classificazione della fusione lineare
Il modello LFR (Linear Fusion Ranking) è una forma personalizzabile del modello di classificazione fusione predefinito, che calcola una somma ponderata dei punteggi trasformati sia dalla ricerca vettoriale (densa) che dalla ricerca per parola chiave (sparsa). I risultati della ricerca vengono classificati utilizzando la somma derivata dalla formula LFR.
Per impostazione predefinita, la ricerca ibrida offre la migliore configurazione di classificatore a fusione lineare utilizzando trasformazioni e pesi basati su esperimenti interni e benchmark. Con LFR, la classificazione è ulteriormente configurabile utilizzando le funzioni di trasformazione per il punteggio di ricerca con parole chiave (sparso) e il punteggio di ricerca vettoriale (denso) e i relativi pesi.
Il modello LFR può anche utilizzare i fattori di recency e popularity ranking che possono essere configurati durante l'impostazione della ricerca ibrida per un DMO. I fattori di classificazione aggiuntivi sono configurabili utilizzando le funzioni di trasformazione e i pesi.
Ad esempio, questa espressione di query di ricerca ibrida passa i parametri di pertinenza per il modello LFR.
select * from hybrid_search (
table(<Search_index_DMO>),
‘<Search String>’,
'<PreFilteringColumn><Operator><Value>',
'<Limit Results>',
‘{
"lfr": {
"vector": {
"score_transform": {
"type": "reciprocal_rank",
"decay": 60
},
"weight": 0.66913
},
"keyword": {
"score_transform": {
"type": "query_min_max",
"theoretical_min": 0.1
},
"weight": 4.0343633
}
}
}’);Parametri di input per la configurazione della pertinenza:
- lfr - Abilita modello Classificazione fusione lineare
- vettore: Configura la classificazione per la ricerca vettoriale
- keyword: Configura la classificazione per la ricerca di parole chiave
Ciascuna configurazione di classificazione per la ricerca vettoriale e per parola chiave può assumere i seguenti parametri:
- score_transform: Configurazione per la trasformazione del punteggio per il componente di ricerca
- type: Il tipo di trasformazione del punteggio
- reciprocal_rank
- query_min_max
- decadimento: Supportato solo per la trasformazione Reciprocal Rank, il parametro decadimento controlla il gradiente tra le classifiche dei risultati. Ad esempio, il punteggio di classificazione reciproco tra i risultati classificati 1 e 2 è più lontano con un decadimento di 10 rispetto a un decadimento di 20.
- Se la query include un parametro di decadimento, score = 1/(rank+decay).
- theoretical_min: Supportato solo per la trasformazione Min/Max teorica, rappresenta il punteggio minimo teorico per la funzione di ricerca sottostante. Utilizzare questo parametro per aumentare o ridurre la distribuzione delle funzioni in un intervallo compreso tra [0,1]. Scegliere quindi un valore che sia il valore più basso per la funzione per ottenere il risultato migliore. Per il punteggio di ricerca della parola chiave, 0 è il valore appropriato. Non modificare questo valore a meno che non si disponga di dati che indicano che un valore più alto offre una maggiore pertinenza.
- peso: L'importanza da dare a questo componente della ricerca ibrida
Modello Deep Fusion Ranker
Il modello Deep Fusion Ranker (DFR) migliora la pertinenza della ricerca integrando segnali tradizionali come similarità vettoriale, corrispondenze di parole chiave, popolarità e recency con una comprensione più approfondita del testo della query. Sfruttando le tecniche di deep learning e le architetture dei trasformatori, il modello acquisisce interazioni complesse delle funzioni e calcola congiuntamente il punteggio dei record. I risultati della ricerca sono precisi, raffinati e pertinenti al contesto. Questo modello gestisce in modo efficace i dati mancanti e fastidiosi, garantendo prestazioni affidabili in diversi scenari di ricerca.
Abilitare il modello Deep Fusion Ranker utilizzando l'impostazione di configurazione della pertinenza del dfr. Non sono disponibili altre personalizzazioni per questo modello.
Ad esempio, questa espressione di query di ricerca ibrida passa il parametro di pertinenza per il modello Deep Fusion Ranker.
select * from hybrid_search (
table(<Search_index_DMO>),
‘<Search String>’,
'<PreFilteringColumn><Operator><Value>',
'<Limit Results>)',
‘{ "dfr": {}}’
);
Parametri di input per la configurazione della pertinenza:
- dfr: Abilitazione del modello Deep Fusion Ranker
