프롬프트 템플릿에 적합한 AI 모델 선택
AI 모델을 선택하고 테스트하여 특정 사용 사례에 가장 적합한 모델을 찾습니다. 올바른 모델 선택은 응답 품질, 비용, 성능에 크게 영향을 미칩니다.
필수 Edition
| 지원 제품: Lightning Experience |
| 지원 제품: Einstein for Platform 또는 Einstein 또는 세일즈용 Agentforce 또는 서비스 추가 기능 또는 Agentforce Foundations를 사용하는 Enterprise, Performance 및 무제한 Edition |
프롬프트 빌더 프롬프트 템플릿을 구동할 AI 모델을 선택합니다. 최신 또는 가장 강력한 모델은 항상 최상의 선택 항목이 아닙니다. 모델이 실제 데이터를 사용하여 특정 과업에 얼마나 잘 수행하는지 여부가 중요합니다.
모델 선택 원칙
작업 특정성이 가장 중요합니다. 모델이 각기 다른 과업에 우수합니다. 창의적인 세일즈 이메일 생성에 적합한 내용은 사례에서 구조화된 데이터 추출에 적합하지 않을 수 있습니다. 일반 벤치마크가 아닌 실제 사용 사례에서 항상 모델을 테스트하십시오.
최신 성능 대비. 신규 모델은 자동으로 요구에 맞는 것이 아닙니다. 최신 모델로 기본 설정하지 말고 과업에 대한 성능을 측정합니다.
비용 대비 정확도 협조. 더 비싼 모델은 종종(일반적으로는 아님) 더 높은 품질의 출력을 생성합니다. 모델 비용을 응답 가시성 및 비즈니스 영향에 맞춥니다.
| 시나리오 | 품질 요구 | 모델 선택 항목 |
|---|---|---|
| 지원 팀에서 읽는 내부 사례 요약 | 충분함 | 비용 효율적인 모델 |
| 엔터프라이즈 계정의 고객 대면 이메일 | 우수 | 프리미엄 모델 |
| 수천 개의 레코드에 대한 대량 필드 생성 | 일관적이고 빠름 | 미드티어 모델 |
| 일회성 실행 요약 | 최대 가능 | 프리미엄 모델 |
일관성은 생산에 매우 중요합니다. 80%의 시간이 뛰어난 응답을 생성하고 20%의 시간이 나쁜 응답을 생성하는 모델은 프로덕션에 사용할 준비가 되지 않습니다. 동일한 입력을 사용하여 각 모델을 여러 번 테스트하여 최대 성능뿐만 아니라 일관성을 측정합니다.
모델 테스트 및 선택
이 프로세스를 수행하여 증거 기반 모델을 선택합니다.
1단계: 성공 기준을 정의합니다. 모델을 테스트하기 전에 사용 사례에 대한 "우수" 의미를 결정합니다. 측정 가능한 기준 2~3개를 식별합니다. 예를 들어 세일즈 이메일 프롬프트의 경우 개인 설정(이메일에서 특정 계정 세부 사항을 참조), 어조(전문적이지만 대화형이며 1~5점), 길이(100~150단어).
2단계: 테스트 데이터를 만듭니다. 실제 사용에서 10~20개의 대표 예를 준비합니다. 기본 테스트 데이터가 아닌 실제 Salesforce 레코드를 사용합니다. 실제 데이터는 빈 필드, 일반적이지 않은 값, 매우 긴 텍스트 또는 짧은 텍스트, 특수 문자와 같은 가장자리 사례를 표시합니다. 산업, 사례 유형, 계정 크기 전반의 다양성을 포함하고 문제가 있는 일반적인 레코드와 레코드를 모두 포함합니다.
3단계: 각 모델을 테스트합니다. 테스트 데이터를 사용하여 사용 가능한 각 모델에 대해 프롬프트 템플릿을 실행합니다. 모든 모델에 정확히 동일한 프롬프트 템플릿을 사용하고 테스트 데이터만 변경합니다.
4단계: 측정 결과. 성공 기준에 대해 각 출력에 점수를 매깁니다. 모든 테스트 레코드 전반에서 통과율, 평균 점수, 규정 준수율과 같은 요약 통계를 계산합니다.
5단계: 데이터를 분석합니다. 성공 기준 전반의 모델을 비교합니다. 사용 사례에 가장 중요한 기준에 따라 가장 잘 작동하는 모델을 식별합니다.
6단계: 일관성을 확인합니다. 상위 2~3개의 모델의 경우 5개의 테스트 레코드(모델당 총 25회 실행)에 대해 동일한 프롬프트를 5번 실행합니다. 높은 분산은 모델이 프로덕션에 대해 신뢰할 수 없음을 의미합니다. 편파도가 낮은 모델을 선택합니다.
단계 7: 증거를 기반으로 선택하십시오. 평판 또는 마케팅 청구가 아닌 실제 성공 기준에서 가장 잘 수행되는 모델을 선택합니다. 수주한 기준, 테스트 결과 요약, 테스트 날짜 등 선택 항목을 문서화합니다. 새 모델을 사용할 수 있게 되면 다시 테스트하고 기준선과 비교할 수 있습니다.
모델 전환 시기 파악
모델 선택 항목은 영구적이지 않습니다. 다음 상황에서 전환을 고려하십시오.
- 새로운 모델이 제공됩니다. Salesforce가 새 모델을 릴리스하면 같은 프로세스를 사용하여 기준선에 대해 테스트합니다. 새로운 값이 더 우수하다고 가정하지 마십시오.
- 사용 사례가 변경됩니다. 요구 사항이 변경될 경우(예: 이제 다중 언어 지원 또는 더 긴 출력이 필요함) 모델을 다시 테스트합니다.
- 성능이 저하됩니다. 시간에 따라 출력 품질이 저하되는 경우 대체 모델을 테스트하십시오. 모델 업데이트가 특정 사용 사례의 성능에 영향을 미치는 경우가 있습니다.
- 비용 고려 사항이 변경됩니다. 볼륨이 급격하게 증가하는 경우 품질이 약간 떨어지더라도 비용 효율적인 모델을 사용할 수 있습니다. 최종 사용자가 품질 차이를 볼 수 있는지 여부 및 비즈니스 결과에 미치는 영향 여부를 분석합니다.
일반적인 모델 선택 오류
- 일반적인 벤치마크를 기반으로 선택. 벤치마크는 일반 기능을 측정합니다. 특정 과업이 벤치마크 과업과 일치하지 않을 수 있습니다. 항상 실제 프롬프트 및 데이터를 사용하여 테스트하십시오.
- 재테스트 안 해요. 모델이 변경되고 새 모델이 릴리스되고 사용 사례가 발전합니다. 중요한 프롬프트에 대해 분기별 모델 검토를 예약합니다.
- 인공 데이터를 사용한 테스트. 프로덕션 데이터가 어렵습니다. 실제 레코드에는 빈 필드, 가장자리 사례 및 예기치 않은 값이 있습니다. 항상 실제 Salesforce 레코드를 사용하여 테스트하십시오.
- 한 번 테스트합니다. 단일 테스트는 일관성 문제를 드러내지 않습니다. 동일한 입력을 사용하여 여러 번 테스트하여 일관성을 측정합니다.
- 잘못된 메트릭에 대한 최적화. 먼저 성공 기준을 정의한 다음, 일반적인 품질이나 창의성이 아닌 특정 기준에 대해 테스트합니다.
모델 비교 체크리스트
모델을 비교할 때 다음 항목을 평가하십시오.
- 정확도: 출력이 예상 콘텐츠 및 형식과 일치합니까?
- 일관성: 반복 실행은 유사한 품질을 제공합니까?
- 준수: 응답이 필드 크기 및 형식 제약에 맞는지 여부
- 톤: 음성이 브랜드 및 사용 사례와 일치합니까?
- 완전성: 모든 필수 요소가 포함되어 있습니까?
- 속도: 응답 시간은 사용자의 기대치를 충족합니까?
- 비용: 가격이 이 사용 사례의 비즈니스 가치와 일치합니까?
- Edge cases: 일반적이지 않은 데이터 또는 최소한의 데이터를 처리하는 방법은 무엇입니까?
