위치:
검색 색인 보강을 통한 검색 응답
풍부한 인덱싱은 Knowledge 데이터베이스에서 가장 적합한 답변을 가진 질문과 단락을 일치시켜 검색 응답을 향상합니다. Data 360 하이브리드 검색은 시맨틱한 벡터 검색의 강점과 키워드 검색의 정확성과 속도를 결합하지만, 풍부한 색인화는 사용자의 질문에 가장 가까운 청크를 찾는 방식으로 격차를 닫습니다.
보강된 색인화 및 검색 증분 생성(RAG)
보강된 색인화는 두 가지 방법으로 격차를 해소합니다. 먼저 원래 일반 청크(질문 청크)를 기반으로 질문을 생성하므로 벡터 검색에서 사용자 질문에 대해 거의 완벽한 대체 질문을 찾습니다. 두 번째로, 제목, 요약, 키워드, 명명된 엔티티, 주제 범주 등 각 기본 일반 청크에 대한 서식 있는 메타데이터 청크를 추출합니다. Data 360은 메타데이터 청크를 벡터로 포함하므로 벡터 및 키워드 검색 점수를 모두 개선합니다. 세분화된 개념이 풍부한 텍스트는 벡터 검색에서 더 나은 의미론적 일치를 제공하며 명시적 키워드는 키워드 일치에 도움이 됩니다. 두 파생 청크가 모두 검색 시점의 소스로 원래 일반 청크를 다시 가리킵니다.
검색에서 일반 청크를 두 번 이상 검색하는 경우 검색 프로세스에서 일반 청크의 인스턴스가 하나만 유지됩니다. 이 중복은 여러 보강된 청크가 소스 청크와 동일한 일반 청크를 다시 가리키면 발생합니다.
응답: Knowledge 자료에는 올바른 응답이 있는 기사가 포함되어 있습니다. 기사에 "복구 페이지를 탐색하고 이메일 주소를 입력" 절차로 작성된 섹션이 있습니다.
차이프: 절차로 작성된 단락에는 질문과 다른 의미가 있습니다. Data 360은 Knowledge 기사를 수집하고 색인화합니다. 검색 프로세스 동안 이 청크의 점수는 이 간격으로 인해 예상보다 훨씬 낮을 수 있습니다. 따라서 검색 시 이 통로가 제외되는 경우가 있습니다.
대규모 언어 모델(LLM)을 사용하여 보강 색인화를 활성화하면 Data 360이 이 절차 내용을 포함하는 원래 일반 청크에 대한 메타데이터 청크와 질문 청크를 만듭니다.
메타데이터 청크에는 다음과 같은 일반 청크에 대한 서식 있는 메타데이터가 포함됩니다.
제목: "암호 복구"
요약: "복구 페이지를 통해 로그인 자격 증명을 재설정하는 단계."
키워드: 복구, 자격 증명, 리셋 링크, 이메일
엔티티: 복구 페이지, 등록 이메일(이름이 지정된 내용)
제목: 계정 관리, 인증
질문 청크에는 다음과 같은 일반 청크가 답변하는 자연어 질문이 포함됩니다.
"암호를 어떻게 재설정합니까?"
"로그인을 잊은 경우 어떻게 해야 합니까?"
"암호 재설정 링크는 얼마나 유효합니까?"
"계정 액세스를 복구하려면 어디로 이동합니까?"
세 개의 청크는 모두 동일한 색인의 일부입니다. 따라서 응답을 검색할 때 모든 청크 유형이 일치할 수 있습니다. 이 예에서는 원래 쿼리가 질문 청크와 일치합니다. Data 360 검색 색인 원래 일반 청크와 실제 문서 텍스트를 반환하며 파생된 보강 청크는 반환하지 않습니다. 올바른 답변이 포함된 원래 일반 청크의 점수는 다른 일치 항목보다 높습니다.
