Ação principal do fluxo: Ações de modelo de prompt
Cria respostas com base na resposta do grande modelo de idioma (LLM) para o modelo de prompt especificado e entradas.
Edições obrigatórias
| Disponível em: Lightning Experience |
| Exibir edições com suporte. |
No Flow Builder, adicione um elemento Ação ao fluxo. Na janela Nova ação, selecione a categoria Modelo de prompt ou Modelo de prompt (geração em lote) e, em seguida, selecione o nome do modelo de prompt a ser usado. A Geração individual retorna resultados um por vez à medida que são concluídos, enquanto a Geração em lote conclui todas as solicitações antes de retornar resultados para evitar atingir os limites de taxa de LLM. A Geração em lote oferece suporte a 10 mil gerações por dia. Se o modelo oferecer suporte ao processamento em lote, o limite será de 50.000 por dia. Procure por Lote suportado: Sim em Limites na lista suspensa Modelos no Criador de prompts. O tempo real para conclusão depende do provedor do modelo e pode variar.
A ação de Geração em lote tem dois caminhos: Concluído e Temporizado. Adicione elementos ao caminho Concluído para usar a resposta gerada. Adicione elementos ao caminho Tempo limite para registrar erros e interrupções. A duração do tempo limite deve ser definida como um dia. Clique na ação Prompt Model (Geração de lote) para atualizar Definir o tempo limite conforme necessário. Após o início, o trabalho começa em duas horas.
O nome da API para cada ação é prefixado com generatePromptResponse ou generatePromptResponseBatch.
Definir valores de entrada
Os valores de entrada são baseados nas variáveis de entrada especificadas para o modelo de prompt.
Armazenar valores de saída
| Campo | Descrição |
|---|---|
| Resposta rápida | A resposta de prompt gerada pela ação com base no modelo e entrada de prompt especificados. |
Considerações ao usar a Geração em lote de modelo de prompt
- Use apenas os tipos de modelo de Geração em lote com Fluxo acionado por agenda e Fluxo acionado por registro, pois são projetados para lidar com lotes de itens.
- Antes de executar um trabalho de geração em lote, defina um Usuário de fluxo de trabalho padrão em Configuração > Configurações de automação de processo > Configurações de automação de processo, pois o trabalho em lote será executado no contexto desse usuário. Consulte Configurações de automação de processo para obter mais informações.
- Limite o tamanho da solicitação a 10 mil itens por dia ao usar os tipos de modelo de Fluxo acionado por agenda ou acionado por registro. Se o modelo oferecer suporte ao processamento em lote, o limite será de 50.000 por dia. Procure por Lote suportado: Sim em Limites na lista suspensa Modelos no Criador de prompts. Se suas solicitações excederem o limite diário, elas serão colocadas em um status em fila até o limite ser redefinido.
- Limite o tamanho da solicitação a 1.000 itens por hora ao usar WebSearch Recuperadores.
- O tamanho do aviso resolvido não deve exceder 131.072 caracteres. Caso contrário, a solicitação poderá falhar. Recomendamos manter o aviso resolvido bem abaixo desse limite para evitar interrupções.
- As ações Executar e Depurar no Flow Builder não estão disponíveis para Geração em lote.
Uso
Essa ação estará disponível apenas se o seguinte for verdadeiro. Caso contrário, a ação falha.
- Criador de prompts está habilitado.
- O usuário que executa o fluxo tem a permissão Usuário do modelo de prompt.
- O modelo de prompt especificado tem uma versão ativa.
