Scelta del modello AI giusto per il modello di prompt

Principi di selezione del modello

La specificità delle operazioni è più importante. Modelli diversi eccellono in operazioni diverse. Ciò che funziona per generare email di vendita creative potrebbe non funzionare per estrarre dati strutturati dai casi. Testare sempre i modelli sul proprio caso d'uso effettivo, non sui benchmark generali.

Prestazioni su recency. Un modello più recente non è automaticamente adatto alle proprie esigenze. Non utilizzare per impostazione predefinita il modello più recente: misurare le prestazioni dell'operazione.

Confronti costo/accuratezza. I modelli più costosi spesso (ma non sempre) producono output di qualità superiore. Abbinare il costo del modello alla visibilità della risposta e all'impatto sul business.

La coerenza è fondamentale per la produzione. Un modello che produce risposte eccellenti l'80% del tempo e risposte scadenti il 20% del tempo non è pronto per la produzione. Testare ogni modello più volte con gli stessi input per misurare la coerenza, non solo le prestazioni massime.

Test e selezione di un modello

Seguire questa procedura per effettuare scelte basate su prove.

Fase 1: Definire i criteri di successo. Prima di testare qualsiasi modello, decidere che cosa significa "buono" per il proprio caso d'uso. Identificare 2-3 criteri misurabili. Ad esempio, per un prompt email di vendita: personalizzazione (l'email fa riferimento a dettagli specifici dell'account), tono (professionale ma conversazionale, punteggio 1–5) e lunghezza (100–150 parole).

Fase 2: Creare dati di test. Preparare da 10 a 20 esempi rappresentativi tratti dall'utilizzo reale. Utilizzare record Salesforce effettivi, non dati di test inventati. I dati reali evidenziano casi limite come campi vuoti, valori insoliti, testo molto lungo o breve e caratteri speciali. Includere la varietà tra settori, tipi di casi e dimensioni degli account e includere sia i record tipici che quelli che hanno creato problemi.

Fase 3: Testare ogni modello. Eseguire il modello di prompt con ogni modello disponibile utilizzando i dati di test. Utilizzare lo stesso modello di prompt e gli stessi dati di test per tutti i modelli: modificare solo la selezione del modello.

Fase 4: Misurare i risultati. Valutare ogni output in base ai criteri di successo. Calcolare statistiche di riepilogo come la percentuale di superamento, il punteggio medio e la percentuale di conformità in tutti i record dei test.

Fase 5: Analizzare i dati. Confrontare i modelli in base ai criteri di successo. Identificare quale modello funziona meglio in base ai criteri più importanti per il proprio caso d'uso.

Fase 6: Controllare la coerenza. Per i modelli da 2 a 3, eseguire lo stesso prompt cinque volte contro 5 record di test (25 esecuzioni totali per modello). Varianza elevata significa che il modello non è affidabile per la produzione. Scegliere modelli con varianza bassa.

Fase 7: Scegliere in base alle prove. Selezionare il modello che ha funzionato meglio in base ai criteri di successo effettivi, non in base alla reputazione o alle richieste di marketing. Documentare la scelta, compresi i criteri in base ai quali ha vinto, il riepilogo dei risultati del test e la data del test. Man mano che diventano disponibili nuovi modelli, è possibile eseguire nuovamente il test e il confronto con la base di riferimento.

Sapere quando cambiare modello

La scelta del modello non è definitiva. Valutare la possibilità di passare da una all'altra in queste situazioni.

• Sono disponibili nuovi modelli. Quando Salesforce rilascia nuovi modelli, testarli rispetto alla base di riferimento utilizzando lo stesso processo. Non dare per scontato che new sia uguale a better.
• Il caso d'uso cambia. Se i requisiti cambiano, ad esempio se ora è necessario il supporto multilingue o un output più lungo, testare nuovamente i modelli.
• Le prestazioni peggiorano. Se si nota un calo della qualità dell'output nel tempo, testare modelli alternativi. A volte gli aggiornamenti del modello influiscono sulle prestazioni di casi d'uso specifici.
• Le considerazioni sui costi cambiano. Se il volume aumenta drasticamente, un modello più economico potrebbe avere senso anche se la qualità diminuisce leggermente. Analizzare se la differenza di qualità è evidente per gli utenti finali e se influisce sui risultati aziendali.

Errori comuni di selezione del modello

• Scelta basata su benchmark generali. I benchmark misurano le capacità generali. L'operazione specifica potrebbe non essere allineata alle operazioni di benchmark. Eseguire sempre il test con il prompt e i dati effettivi.
• Mai ripetere il test. I modelli cambiano, vengono rilasciati nuovi modelli e il caso d'uso si evolve. Pianificare revisioni trimestrali del modello per i prompt critici.
• Test con dati artificiali. I dati di produzione sono disordinati. I record reali hanno campi vuoti, casi limite e valori imprevisti. Eseguire sempre il test con record Salesforce reali.
• Test una volta. I test singoli non rilevano problemi di coerenza. Testare più volte con gli stessi input per misurare la coerenza.
• Ottimizzazione per la metrica sbagliata. Definire prima i criteri di successo, quindi testare i criteri specifici, non la qualità o la creatività generale.

Elenco di controllo di confronto dei modelli

Quando si confrontano i modelli, valutare questi elementi.

• Precisione: L'output corrisponde al contenuto e al formato previsti?
• Coerenza: Le esecuzioni ripetute producono una qualità simile?
• Conformità: La risposta soddisfa le dimensioni dei campi e i vincoli di formato?
• Tono: Voice corrisponde al marchio e al caso d'uso?
• Completezza: Sono inclusi tutti gli elementi obbligatori?
• Velocità: Il tempo di risposta soddisfa le aspettative degli utenti?
• Costo: Il prezzo è allineato al valore aziendale di questo caso d'uso?
• Casi Edge: Come gestisce i dati insoliti o minimi?