Optimieren und Eingrenzen von Aufforderungsvorlagen

Der siebenstufige Iterationszyklus

Schritt 1: Schreiben. Entwerfen Sie Ihre erste Aufforderungsvorlage. Streben Sie nicht nach Perfektion, sondern nach "gut genug zum Testen". Beginnen Sie mit einer klaren Aufgabendefinition, grundlegenden Anweisungen (5–7 wichtige Punkte), wichtigen Briefvorlagenfeldern, einfachen Formatanforderungen und einer oder zwei wichtigen Einschränkungen.

Schritt 2: Testen. Führen Sie Ihre Aufforderungsvorlage mit 5 bis 10 verschiedenen echten Salesforce-Datensätzen aus. Schließen Sie typische Kundenvorgänge, Edge-Kundenvorgänge (ungewöhnliche Werte, minimale Daten, maximale Daten) und Datensätze ein, die in der Vergangenheit problematisch waren. Speichern Sie alle Antworten zur Auswertung und dokumentieren Sie Fehler oder Fehler.

Schritt 3: Auswerten. Vergleichen Sie die Ergebnisse mithilfe einer Bewertungsrubrik mit Ihren Erfolgskriterien. Bewerten Sie jede Antwort: Erfüllt sie jedes Kriterium, wie hoch ist die Passrate und sind Fehler konsistent oder zufällig?

Schritt 4: Identifizieren Sie Probleme. Analysieren Sie Fehler und Muster. Allgemeine Problemkategorien:

• Fehlende Informationen: Die Antwort enthält keine erforderlichen Elemente, da sie in den Anweisungen nicht explizit gefordert wurden.
• Falscher Ton: Die Antwort ist zu formal, zu locker oder zu robotisch, da die Tonanweisungen vage sind oder fehlen.
• Falsche Länge: Die Antwort ist zu lang oder zu kurz, da die Längeneinschränkung fehlt oder ignoriert wird.
• Schlechte Struktur: Die Antwort entspricht nicht dem erwarteten Format, da die Formatspezifikationen unklar sind.
• Unrichtiger Inhalt: Die Antwort enthält falsche Informationen, da Briefvorlagenfelder falsch sind oder der Kontext nicht ausreicht.
• Inkonsistente Ergebnisse: Die Qualität variiert je nach Testfall erheblich, da Anweisungen keine Edge-Kundenvorgänge verarbeiten.

Schritt 5: Eingrenzen. Aktualisieren Sie Ihre Eingabeaufforderungsvorlage auf der Grundlage Ihrer Erkenntnisse.

• Wenn Informationen fehlen, fügen Sie explizite Anweisungen hinzu, in denen die erforderlichen Elemente aufgeführt sind.
• Wenn der Ton falsch ist, fügen Sie eine spezifische Tonanleitung mit Beispielen hinzu.
• Wenn die Länge falsch ist, fügen Sie eine explizite Längeneinschränkung mit einer Wort- oder Zeichenanzahl hinzu.
• Wenn die Struktur falsch ist, fügen Sie detaillierte Formatspezifikationen hinzu.
• Wenn der Inhalt ungenau ist, fügen Sie mehr Kontext hinzu oder korrigieren Sie Briefvorlagenfelder.
• Wenn die Ergebnisse inkonsistent sind, fügen Sie eine explizite Verarbeitung für Randvorgänge wie leere Felder hinzu.

Schritt 6: Erneuter Test. Führen Sie die genauere Eingabeaufforderung mit denselben Testdaten aus, die Sie zuvor verwendet haben. Messen Sie, ob sich die Weiterleitungsrate erhöht hat, ob frühere Fehler nun weitergereicht werden und ob die Behebung eines Problems neue Probleme verursacht hat. Machen Sie weiter, bis Sie Ihre Zieldurchgangsrate erreichen – in der Regel 85–95 % für die Produktionsnutzung.

Schritt 7: Bereitstellen. Sobald Ihre Eingabeaufforderung konsistent hochwertige Antworten generiert, stellen Sie sie in der Produktion bereit.

Bewährte Vorgehensweisen für die Iteration

• Behalten Sie einen Versionsverlauf bei. Speichern Sie jede Version Ihrer Eingabeaufforderung mit Hinweisen dazu, was sich geändert hat und warum, zusammen mit der Weiterleitungsrate für diese Version.
• Verwenden Sie die gleichen Testdaten für alle Versionen. Auf diese Weise können Sie Verbesserungen direkt vergleichen.
• Nehmen Sie nach Möglichkeit jeweils eine Änderung vor. Wenn Sie drei Dinge ändern und die Qualität verbessert wird, wissen Sie nicht, welche Änderung geholfen hat. Frühe Iterationen können mehrere Korrekturen als Batches ausführen. Spätere Iterationen sollten jedoch gezielte Änderungen vornehmen.
• Dokumentieren Sie, was nicht funktioniert hat. Beachten Sie Ansätze, die Sie ausprobiert haben und die die Dinge noch schlimmer machten. Das spart später Zeit.
• Geben Sie Lerninhalte für Ihr Team frei. Was Sie beim Optimieren einer Eingabeaufforderung lernen, gilt oft für andere.

Häufige Iterationsfehler

• Zu früh aufgeben. Sie können mit 3–5 Wiederholungen rechnen, bevor Sie die Produktionsqualität erreichen. Budgetzeit für diesen Prozess.
• Nicht mit echten Daten testen. Produktionsdaten sind unordentlich. Verwenden Sie immer tatsächliche Salesforce-Datensätze und keine erfundenen Testfälle.
• Zu viele Dinge gleichzeitig ändern. Nehmen Sie in späteren Iterationen gezielte Änderungen vor, damit Sie erkennen können, was funktioniert.
• Edge-Kundenvorgänge werden ignoriert. Fügen Sie Randfälle in Ihre Testdaten ein und verarbeiten Sie sie explizit in Ihren Anweisungen.
• Keine Erfolgskriterien. Definieren Sie 2–3 spezifische, messbare Erfolgskriterien, bevor Sie mit der Iteration beginnen. Ohne klare Ziele ist die Iteration ziellos.

Optimierungs-Checkliste

Bevor Sie eine Aufforderungsvorlage als produktionsfertig betrachten, überprüfen Sie diese Elemente.

• Getestet mit mindestens 15–20 echten Salesforce-Datensätzen
• Die Weiterleitungsrate erreicht das Ziel für diesen Anwendungsfall (in der Regel 85–95 %)
• Edge-Kundenvorgänge werden ordnungsgemäß verarbeitet
• Alle Erfolgskriterien werden einheitlich erfüllt
• Versionsverlauf wird mit Passraten und Änderungshinweisen dokumentiert
• Verbesserungen zeigen messbare Verbesserung gegenüber der ursprünglichen Version
• Verbleibende Probleme sind selten und wirken sich wenig aus
• Team hat sie überprüft und genehmigt