Sie befinden sich hier:
Auswählen des richtigen AI-Modells für Ihre Aufforderungsvorlage
Wählen Sie AI-Modelle aus und testen Sie sie, um die beste Lösung für Ihren spezifischen Anwendungsfall zu finden. Die richtige Modellauswahl wirkt sich erheblich auf Antwortqualität, Kosten und Leistung aus.
Erforderliche Editionen
| Verfügbarkeit: Lightning Experience |
| Verfügbarkeit: Enterprise, Performance und Unlimited Edition mit dem Add-On "Einstein für die Plattform", "Einstein" oder "Agentforce für den Vertrieb oder Service" oder "Agentforce Foundations" |
Im Eingabeaufforderungsgenerator können Sie auswählen, welches AI-Modell Ihre Eingabeaufforderungsvorlage unterstützt. Das neueste oder leistungsstärkste Modell ist nicht immer die beste Wahl. Entscheidend ist, wie gut ein Modell bei Ihrer spezifischen Aufgabe mit Ihren tatsächlichen Daten funktioniert.
Modellauswahlprinzipien
Aufgabenspezifität ist am wichtigsten. Verschiedene Modelle zeichnen sich durch unterschiedliche Aufgaben aus. Was zum Generieren kreativer Vertriebs-E-Mails funktioniert, funktioniert möglicherweise nicht zum Extrahieren strukturierter Daten aus Kundenvorgängen. Testen Sie immer Modelle für Ihren tatsächlichen Anwendungsfall, nicht allgemeine Benchmarks.
Leistung über Aktualität. Ein neueres Modell ist nicht automatisch besser für Ihre Anforderungen. Verwenden Sie nicht standardmäßig das neueste Modell, sondern messen Sie die Leistung Ihrer Aufgabe.
Kosten im Vergleich zu Genauigkeitsabwägungen. Bei teureren Modellen wird oft (aber nicht immer) eine höhere Ausgabequalität erzielt. Gleichen Sie die Modellkosten mit der Sichtbarkeit der Antwort und den Auswirkungen auf das Geschäft ab.
| Szenario | Qualitätsbedarf | Modellauswahl |
|---|---|---|
| Interne Kundenvorgangszusammenfassungen, die vom Supportteam gelesen werden | Gut genug | Kostengünstiges Modell |
| Kundenorientierte E-Mails für Unternehmensaccounts | Ausgezeichnet | Premium-Modell |
| Massenfeldgenerierung für Tausende von Datensätzen | Konsistent und schnell | Mittelklassemodell |
| Einmalige Zusammenfassung | Bestmöglich | Premium-Modell |
Konsistenz ist für die Produktion entscheidend. Ein Modell, das in 80 % der Fälle hervorragende und in 20 % der Fälle schlechte Antworten erzeugt, ist nicht produktionsreif. Testen Sie jedes Modell mehrfach mit denselben Eingaben, um die Konsistenz und nicht nur die Spitzenleistung zu messen.
Testen und Auswählen eines Modells
Führen Sie diesen Prozess aus, um evidenzbasierte Modellauswahlen zu treffen.
Schritt 1: Definieren Sie Erfolgskriterien. Bevor Sie Modelle testen, entscheiden Sie, was "gut" für Ihren Anwendungsfall bedeutet. Identifizieren Sie 2–3 messbare Kriterien. Beispielsweise für eine E-Mail-Aufforderung für den Vertrieb: Personalisierung (E-Mail verweist auf bestimmte Accountdetails), Ton (professionell, aber gesprächig, bewertet mit 1–5) und Länge (100–150 Wörter).
Schritt 2: Erstellen Sie Testdaten. Bereiten Sie 10–20 repräsentative Beispiele aus der realen Nutzung vor. Verwenden Sie tatsächliche Salesforce-Datensätze und keine erfundenen Testdaten. Bei realen Daten werden Randvorgänge wie leere Felder, ungewöhnliche Werte, sehr langer oder kurzer Text und Sonderzeichen angezeigt. Fügen Sie branchenübergreifende Vielfalt, Kundenvorgangstypen und Accountgrößen sowie typische und problematische Datensätze hinzu.
Schritt 3: Testen Sie jedes Modell. Führen Sie Ihre Aufforderungsvorlage anhand Ihrer Testdaten für jedes verfügbare Modell aus. Verwenden Sie für alle Modelle genau dieselbe Aufforderungsvorlage und dieselben Testdaten. Ändern Sie nur die Modellauswahl.
Schritt 4: Messergebnisse. Bewerten Sie jede Ausgabe anhand Ihrer Erfolgskriterien. Berechnen Sie Zusammenfassungsstatistiken wie die Bestehensrate, die durchschnittliche Bewertung und die Compliance-Rate für alle Testdatensätze.
Schritt 5: Analysieren Sie die Daten. Vergleichen Sie Modelle über Ihre Erfolgskriterien hinweg. Ermitteln Sie, welches Modell in Bezug auf die für Ihren Anwendungsfall wichtigsten Kriterien am besten funktioniert.
Schritt 6: Überprüfen Sie die Konsistenz. Führen Sie bei den besten 2–3 Modellen dieselbe Eingabeaufforderung fünfmal für 5 Testdatensätze aus (25 Gesamtausführungen pro Modell). Hohe Varianz bedeutet, dass das Modell für die Produktion unzuverlässig ist. Wählen Sie Modelle mit geringer Varianz aus.
Schritt 7: Wählen Sie anhand von Nachweisen aus. Wählen Sie das Modell aus, das bei Ihren tatsächlichen Erfolgskriterien am besten abschneidet, nicht bei Ansehens- oder Marketingbehauptungen. Dokumentieren Sie Ihre Auswahl, einschließlich der Kriterien, nach denen sie gewonnen hat, der Zusammenfassung der Testergebnisse und des Datums der Tests. Sobald neue Modelle verfügbar sind, können Sie sie erneut testen und mit Ihrer Basis vergleichen.
Wissen, wann Modelle gewechselt werden müssen
Ihre Modellauswahl ist nicht dauerhaft. Ziehen Sie einen Wechsel in diesen Situationen in Erwägung.
- Neue Modelle sind verfügbar. Wenn Salesforce neue Modelle veröffentlicht, sollten Sie sie mit demselben Prozess anhand Ihrer Basis testen. Gehen Sie nicht davon aus, dass neu besser ist.
- Ihr Anwendungsfall ändert sich. Wenn sich die Anforderungen ändern, beispielsweise wenn Sie nun Unterstützung für mehrere Sprachen oder eine längere Ausgabe benötigen, sollten Sie Modelle erneut testen.
- Die Leistung verschlechtert sich. Wenn Sie feststellen, dass die Ausgabequalität im Laufe der Zeit nachlässt, testen Sie alternative Modelle. Manchmal wirken sich Modellaktualisierungen auf die Leistung für bestimmte Anwendungsfälle aus.
- Kostenüberlegungen ändern sich. Wenn sich Ihr Volumen drastisch erhöht, kann ein kostengünstigeres Modell sinnvoll sein, selbst wenn die Qualität leicht sinkt. Analysieren Sie, ob der Qualitätsunterschied für Endbenutzer spürbar ist und ob er sich auf die Geschäftsergebnisse auswirkt.
Allgemeine Fehler bei der Modellauswahl
- Auswahl anhand allgemeiner Benchmarks. Benchmarks messen allgemeine Funktionen. Ihre spezifische Aufgabe stimmt möglicherweise nicht mit Benchmark-Aufgaben überein. Testen Sie immer mit Ihrer tatsächlichen Eingabeaufforderung und Ihren Daten.
- Wird nie wieder getestet. Modelle ändern sich, neue Modelle werden veröffentlicht und Ihr Anwendungsfall entwickelt sich weiter. Planen Sie vierteljährliche Modellüberprüfungen für wichtige Aufforderungen.
- Testen mit künstlichen Daten. Produktionsdaten sind unordentlich. Echte Datensätze weisen leere Felder, Randkundenvorgänge und unerwartete Werte auf. Testen Sie immer mit echten Salesforce-Datensätzen.
- Einmal testen. Einzelne Tests zeigen keine Konsistenzprobleme auf. Testen Sie die Konsistenz mehrfach mit denselben Eingaben.
- Optimierung für die falsche Kennzahl. Definieren Sie zunächst Erfolgskriterien und testen Sie dann auf diese spezifischen Kriterien, nicht auf allgemeine Qualität oder Kreativität.
Checkliste für Modellvergleich
Bewerten Sie beim Vergleichen von Modellen diese Elemente.
- Genauigkeit: Entspricht die Ausgabe dem erwarteten Inhalt und Format?
- Konsistenz: Erzeugen wiederholte Ausführungen eine ähnliche Qualität?
- Konformität: Passt die Antwort zu den Einschränkungen für Feldgröße und Format?
- Ton: Entspricht Voice Ihrer Marke und Ihrem Anwendungsfall?
- Vollständigkeit: Sind alle erforderlichen Elemente enthalten?
- Geschwindigkeit: Entspricht die Antwortzeit den Erwartungen der Benutzer?
- Kosten: Entspricht der Preis dem Geschäftswert dieses Anwendungsfalls?
- Edge-Kundenvorgänge: Wie werden ungewöhnliche oder minimale Daten verarbeitet?
