프롬프트 템플릿 배치 처리

개요

배치 처리는 단일 요청에서 대량의 프롬프트 응답을 비동기식으로 생성합니다. 이 접근 방식은 LLM 속도 제한에 도달하지 않도록 방지하고 대용량 콘텐츠 생성을 효율적으로 처리합니다.

시스템에서 배치 작업을 대기열에 지정하고 모든 항목을 처리하고 결과를 저장합니다. 작업 진행 상태를 모니터링하고 준비가 되면 완료된 응답을 검색할 수 있습니다. 실제 완료 시간은 모델 공급자에 따라 다르며 다를 수 있습니다.

일반적인 사용 사례에는 다음이 포함됩니다.

• 수천 명의 고객을 위해 맞춤형 이메일 캠페인을 만듭니다.
• 카탈로그 데이터에서 제품 설명 생성
• 대량 사례 노트 또는 고객 피드백 요약
• 여러 레코드에서 콘텐츠를 번역합니다.
• 일정 또는 레코드 변경 사항에 따라 대량 콘텐츠 생성을 트리거합니다.

구현 옵션

Salesforce는 배치 처리를 구현하기 위한 두 가지 기본 방법을 제공합니다.

플로

이 접근 방식은 대부분의 사용 사례에서 작동하며 Salesforce 관리자가 코드 없이 솔루션을 구축하는 경우에 가장 적합합니다. 일정 트리거 플로 또는 레코드 트리거 플로에서 프롬프트 템플릿(배치 생성) 작업을 사용하여 자동으로 실행되는 배치 작업을 만듭니다. 해당 플로에는 완료 및 시간 제한 경로가 포함되어 있어 성공적인 완료 및 시간 제한 시나리오를 다르게 처리할 수 있습니다.

제한:

• 일반적으로 플로 배치 작업은 제출 후 2시간 이내에 처리됩니다.
• 표준 모델의 경우 일일 최대 10,000개까지 생성됩니다.
• 네이티브 배치 처리를 지원하는 모델을 사용하는 경우 하루에 최대 50,000개의 생성을 사용할 수 있습니다.
• WebSearch 검색기 사용 시 시간당 최대 1,000개의 항목

Apex

이 접근 방식은 사용자 정의 통합 및 자동화를 위한 최대한의 유연성을 제공합니다. AiJobRun 및 AiJobRunItem 개체를 사용하여 배치 작업을 프로그래밍 방식으로 만들고 관리합니다. 다음을 수행하려면 Apex 사용하는 것이 좋습니다.

• 사용자 정의 UI를 구축합니다. 예: 작업을 시작하는 버튼 또는 배치 작업을 나열하는 대시보드
• 배치 크기를 동적으로 제어합니다(개수 또는 시간 임계값까지 항목을 누적한 다음, 시작).
• 레코드 트리거 또는 일정 기반이 아닌 외부 이벤트에서 트리거합니다.

제한:

• 각 AiJobRun에 대해 최대 1,000개의 AiJobRunItems입니다.
• 네이티브 배치 처리를 지원하는 모델을 사용하는 경우 각 AiJobRun에 대해 10,000개의 AiJobRunItems로 제한됩니다.
• WebSearch 검색기 사용 시 시간당 최대 1,000개의 항목
• 24시간 동안 최대 5개의 AiJobRun 개체 요청이 일일 제한을 초과하는 경우 제한이 재설정될 때까지 대기 상태로 배치됩니다.

모범 사례

올바른 모델을 선택합니다.

• 배치 지원됨 레이블이 지정된 모델 사용: 가장 빠른 처리를 위해 프롬프트 빌더 예.
• 특히 느리므로 미니 모델을 배치로 사용하지 마십시오.

배치 크기:

• 더 커야 더 좋습니다. 작업 수는 해당 작업의 항목이 아닌 제한 요소입니다. 200개와 2,000개의 배치는 대략 동일한 시간에 완료됩니다.
• 하나 이상의 실패한 항목은 나머지 배치가 차단되지 않습니다.

올바른 구현을 선택합니다. 플로 vs. Apex:

• 작업, 동적 배치 크기 조정 또는 비레코드 및 비예약 트리거를 시작하기 위해 사용자 정의 UI가 필요하지 않는 한 플로를 사용합니다.

플로 설계:

• 플로당 하나의 배치 작업만 수행합니다. 체인화된 배치 작업이 대기열에 추가되고 런타임이 크게 증가됩니다.
• 가능한 경우 프롬프트를 단일 템플릿으로 결합합니다.
• 시간 초과를 1일로 설정합니다.

작업 진행 상황 모니터링:

• 상태, 항목 수, 오류, 응답에 대한 AiJobRun 및 AiJobRunItem을 쿼리합니다.
• 이벤트 중심 워크플로의 경우 AiJobRunStatusEvent를 구독합니다.

제한 사항 및 고려 사항

전제 조건

• 지정된 프롬프트 템플릿에 활성 버전이 있어야 합니다.
• 플로: 프로세스 자동화 설정에서 기본 워크플로 사용자를 구성해야 합니다.

처리 동작

• 작업이 생성 날짜를 기반으로 시간순으로 처리됩니다.
• 각각 몇 초 이내에 생성된 작업은 엄격한 순서를 따르지 않을 수 있습니다.
• 처리가 시작되면 입력 값 및 특정 필드를 변경할 수 없습니다.
• 작업 상태 변경은 시스템에서 관리하며 수동으로 변경할 수 없습니다.
• 완료 시간은 모델 공급자에 따라 다르며 다를 수 있습니다.

플랫폼 고려 사항

• 배치 처리는 비동기식이며 결과는 즉각적이지 않습니다.
• 적절한 시간 초과 길이를 설정합니다. 플로 배치 작업의 경우 하루를 권장합니다.
• 플랫폼 이벤트를 통해 또는 작업 레코드를 쿼리하여 작업 상태를 모니터링합니다.
• 시간이 중요한 워크플로를 설계할 때 처리 시간을 계획합니다.
• 배치 내에서 실패한 항목에 대한 대체 처리를 고려하십시오.