Escolher o modelo de IA certo para seu modelo de prompt

Princípios de seleção de modelo

Especificidade da tarefa é mais importante. Diferentes modelos se destacam em tarefas diferentes. O que funciona para gerar emails de vendas criativos pode não funcionar para extrair dados estruturados de casos. Sempre teste modelos em seu caso de uso real, não referências gerais.

Desempenho em relação à atualidade. Um modelo mais novo não é automaticamente melhor para suas necessidades. Não use o modelo mais recente como padrão – meça o desempenho em sua tarefa.

Custo vs. compensações de precisão. Modelos mais caros geralmente (mas nem sempre) produzem resultados de maior qualidade. Combine o custo do modelo com a visibilidade da resposta e o impacto dos negócios.

A consistência é fundamental para a produção. Um modelo que produz respostas excelentes 80% do tempo e respostas ruins 20% do tempo não está pronto para produção. Teste cada modelo várias vezes com as mesmas entradas para medir a consistência, não apenas o desempenho máximo.

Testar e selecionar um modelo

Siga este processo para fazer escolhas de modelo baseadas em evidências.

Etapa 1: Defina critérios de sucesso. Antes de testar qualquer modelo, decida o que "bom" significa para seu caso de uso. Identifique 2 a 3 critérios mensuráveis. Por exemplo, para um prompt de email de vendas: personalização (o email faz referência a detalhes específicos da conta), tom (profissional, mas conversacional, pontuado de 1 a 5) e comprimento (100 a 150 palavras).

Etapa 2: Criar dados de teste. Prepare 10 a 20 exemplos representativos do uso do mundo real. Use registros reais do Salesforce, não dados de teste criados. Dados reais apresentam casos de borda, como campos vazios, valores incomuns, texto muito longo ou curto e caracteres especiais. Inclua variedade entre setores, tipos de caso e tamanhos de conta e inclua registros típicos e registros que tenham sido problemáticos.

Etapa 3: testar cada modelo. Execute seu modelo de prompt em relação a cada modelo disponível usando seus dados de teste. Use exatamente o mesmo modelo de prompt e os dados de teste para todos os modelos, apenas altere a seleção do modelo.

Etapa 4: Medir os resultados. Pontue cada saída em relação aos seus critérios de sucesso. Calcule estatísticas de resumo, como taxa de aprovação, pontuação média e taxa de conformidade em todos os registros de teste.

Etapa 5: Analisar os dados. Compare modelos em seus critérios de sucesso. Identifique qual modelo tem o melhor desempenho nos critérios mais importantes para seu caso de uso.

Etapa 6: Verifique a consistência. Para os principais 2 a 3 modelos, execute o mesmo aviso cinco vezes em relação a cinco registros de teste (25 execuções totais por modelo). Alta variação significa que o modelo não é confiável para produção. Escolha modelos com baixa variação.

Etapa 7: escolha com base na evidência. Selecione o modelo que apresentou o melhor desempenho em seus critérios de sucesso reais, não em declarações de reputação ou de marketing. Documente sua escolha, incluindo em quais critérios ela foi ganha, o resumo dos resultados do teste e a data do teste. Conforme novos modelos ficam disponíveis, você pode testar e comparar novamente com sua linha de base.

Saber quando alternar modelos

Sua escolha de modelo não é permanente. Considere alternar nestas situações.

• Novos modelos ficam disponíveis. Quando o Salesforce lançar novos modelos, teste-os em relação à linha de base usando o mesmo processo. Não presuma que novo igual a melhor.
• Seu caso de uso muda. Se os requisitos mudarem, por exemplo, agora você precisa de suporte para vários idiomas ou de saída mais longa, teste novamente os modelos.
• O desempenho diminui. Se você observar que a qualidade da saída está diminuindo ao longo do tempo, teste modelos alternativos. Às vezes, as atualizações de modelo afetam o desempenho para casos de uso específicos.
• As considerações de custo mudam. Se seu volume aumentar dramaticamente, um modelo mais econômico pode fazer sentido mesmo que a qualidade diminua um pouco. Analise se a diferença de qualidade é perceptível para os usuários finais e se ela afeta os resultados dos negócios.

Erros comuns de seleção de modelo

• Escolha com base em referências gerais. As referências medem os recursos gerais. Sua tarefa específica pode não estar alinhada às tarefas de referência. Sempre teste com seu aviso e dados reais.
• Nunca reteste. Os modelos mudam, novos modelos são lançados e seu caso de uso evolui. Agende análises de modelo trimestrais para avisos críticos.
• Teste com dados artificiais. Os dados de produção estão confusos. Registros reais têm campos vazios, casos de extremidade e valores inesperados. Sempre teste com registros reais do Salesforce.
• Teste uma vez. Testes únicos não revelam problemas de consistência. Teste várias vezes com as mesmas entradas para medir a consistência.
• Otimização para a métrica errada. Defina os critérios de sucesso primeiro e teste-os para esses critérios específicos, não para qualidade geral ou criatividade.

Lista de verificação de comparação do modelo

Ao comparar modelos, avalie estes itens.

• Precisão: A saída corresponde ao conteúdo e ao formato esperados?
• Consistência: Execuções repetidas produzem qualidade semelhante?
• Conformidade: A resposta se encaixa nas restrições de tamanho de campo e formato?
• Ton: O Voice corresponde à sua marca e ao seu caso de uso?
• Completitude: Todos os elementos obrigatórios estão incluídos?
• Velocidade: O tempo de resposta atende às expectativas do usuário?
• Custo: O preço está alinhado ao valor comercial desse caso de uso?
• Casos de borda: Como ele lida com dados incomuns ou mínimos?