Ottimizzazione e perfezionamento dei modelli di prompt

Ciclo di iterazione in sette fasi

Fase 1: Scrivi. Bozza del modello di prompt iniziale. Non mirare alla perfezione, ma "abbastanza buono da testare". Iniziare con una definizione chiara dell'operazione, istruzioni di base (5-7 punti chiave), campi di unione essenziali, requisiti di formato semplici e uno o due vincoli chiave.

Fase 2: Test. Eseguire il modello di prompt con 5-10 record Salesforce reali diversi. Includere casi tipici, casi limite (valori insoliti, dati minimi, dati massimi) e record che hanno creato problemi in passato. Salvare tutte le risposte per la valutazione e documentare eventuali errori.

Fase 3: Valutare. Confrontare i risultati con i criteri di successo utilizzando una rubrica di valutazione. Assegnare un punteggio a ogni risposta: soddisfa ogni criterio, qual è la percentuale di passaggi e gli errori sono coerenti o casuali?

Fase 4: Identificare i problemi. Analizzare errori e schemi. Le categorie di problemi comuni includono:

• Informazioni mancanti: La risposta non include elementi obbligatori perché le istruzioni non li richiedevano esplicitamente.
• Tono sbagliato: La risposta è troppo formale, troppo informale o troppo robotica perché le istruzioni del tono sono vaghe o mancanti.
• Lunghezza errata: La risposta è troppo lunga o troppo breve perché il vincolo di lunghezza è assente o ignorato.
• Struttura scadente: La risposta non segue il formato previsto perché le specifiche del formato non sono chiare.
• Contenuto impreciso: La risposta include informazioni errate perché i campi di unione non sono corretti o il contesto è insufficiente.
• Risultati incoerenti: La qualità varia notevolmente tra i casi di test perché le istruzioni non gestiscono i casi limite.

Fase 5: Perfeziona. Aggiornare il modello di prompt in base a quanto appreso.

• Se mancano informazioni, aggiungere istruzioni esplicite che elencano gli elementi obbligatori.
• Se il tono non è corretto, aggiungere una guida tonale specifica con esempi.
• Se la lunghezza non è corretta, aggiungere un vincolo di lunghezza esplicito con un conteggio di parole o caratteri.
• Se la struttura non è corretta, aggiungere specifiche dettagliate del formato.
• Se il contenuto non è preciso, aggiungere altro contesto o correggere i campi di unione.
• Se i risultati non sono coerenti, aggiungere una gestione esplicita per i casi limite, ad esempio i campi vuoti.

Fase 6: Riprova. Eseguire il prompt raffinato confrontandolo con gli stessi dati di test utilizzati in precedenza. Misurare se la percentuale di passaggi è aumentata, se gli errori precedenti stanno passando e se la correzione di un problema ne ha creati di nuovi. Continuare a ripetere finché non si raggiunge la percentuale di passaggi prefissata, in genere 85-95% per l'uso in produzione.

Fase 7: Distribuire. Quando il prompt produce costantemente risposte di qualità, distribuirlo alla produzione.

Procedure consigliate per l'iterazione

• Conservare una cronologia delle versioni. Salvare ogni versione del prompt con note su cosa è cambiato e perché, insieme alla percentuale di passaggio per quella versione.
• Utilizzare gli stessi dati di test nelle varie versioni. Ciò consente di confrontare direttamente i miglioramenti.
• Ove possibile, apportare una modifica alla volta. Se si modificano tre elementi e la qualità migliora, non si sa quale cambiamento ha aiutato. Le prime iterazioni possono eseguire correzioni in batch, ma le iterazioni successive dovrebbero apportare modifiche mirate.
• Documentare ciò che non ha funzionato. Prendere nota degli approcci che si sono tentati di peggiorare le cose. In questo modo si risparmia tempo in seguito.
• Condividere gli apprendimenti con il team. Ciò che si apprende ottimizzando un prompt si applica spesso ad altri.

Errori di iterazione comuni

• Arrendersi troppo presto. Prevedere da 3 a 5 iterazioni prima di raggiungere la qualità di produzione. Tempo del budget per questo processo.
• Non test con dati reali. I dati di produzione sono disordinati. Utilizzare sempre record Salesforce effettivi, non casi di test inventati.
• Cambiare troppe cose contemporaneamente. Nelle iterazioni successive, apportare modifiche mirate per identificare gli elementi che funzionano.
• Ignorare i casi limite. Includere i casi limite nei dati di test e gestirli esplicitamente nelle istruzioni.
• Nessun criterio di successo. Definire 2-3 criteri di successo specifici e misurabili prima di iniziare a ripetere. Senza obiettivi chiari, l'iterazione è senza scopo.

Elenco di controllo ottimizzazione

Prima di considerare un modello di prompt pronto per la produzione, verificare questi elementi.

• Testato con almeno 15-20 record Salesforce reali
• La percentuale di passaggi soddisfa l'obiettivo per questo caso d'uso (in genere 85-95%)
• I casi Edge vengono gestiti in modo appropriato
• Tutti i criteri di successo sono soddisfatti in modo coerente
• La cronologia delle versioni è documentata con percentuali di passaggio e note di modifica
• I perfezionamenti mostrano un miglioramento misurabile rispetto alla versione iniziale
• I problemi rimanenti sono rari e a basso impatto
• Il team ha esaminato e approvato