Välj rätt AI-modell för din uppmaningsmall

Principer för modellval

Uppgiftens specificitet är viktigast. Olika modeller utmärker sig för olika uppgifter. Det som fungerar för att skapa kreativa e-postmeddelanden kanske inte fungerar för att extrahera strukturerade data från kundcase. Testa alltid modeller på ditt faktiska användningsfall, inte allmänna riktmärken.

Prestanda över återkomst. En nyare modell är inte automatiskt bättre för dina behov. Standard är inte den nyaste modellen — mät prestandan för din uppgift.

Avvägningar mellan kostnad och precision. Dyrare modeller producerar ofta (men inte alltid) resultat av högre kvalitet. Matcha modellkostnad med svarssynlighet och verksamhetspåverkan.

Konsekvens är viktigt för produktionen. En modell som producerar utmärkta svar 80% av gångerna och dåliga svar 20% av gångerna är inte redo för produktion. Testa varje modell flera gånger med samma indata för att mäta enhetlighet, inte bara toppprestanda.

Testa och välj en modell

Följ denna process för att göra evidensbaserade modellval.

Steg 1: Definiera framgångskriterier. Innan du testar några modeller, bestäm vad "bra" innebär för ditt användningsfall. Identifiera 2-3 mätbara kriterier. Till exempel, för en uppmaning via e-post: personanpassning (e-post refererar till specifika kontodetaljer), ton (professionell men konversationsinriktad, betyg 1–5) och längd (100–150 ord).

Steg 2: Skapa testdata. Förbered 10-20 representativa exempel från verklig användning. Använd faktiska Salesforce-poster, inte påhittade testdata. Verkliga data lyfter fram kantfall som tomma fält, ovanliga värden, mycket lång eller kort text och specialtecken. Inkludera variation mellan branscher, kundcasetyper och kontostorlekar, och inkludera både typiska poster och poster som har varit problematiska.

Steg 3: Testa varje modell. Kör din uppmaningsmall mot varje tillgänglig modell med hjälp av dina testdata. Använd exakt samma uppmaningsmall och testdata för alla modeller — ändra endast modellvalet.

Steg 4: Mät resultat. Betygsätt varje utdata mot dina framgångskriterier. Beräkna sammanfattande statistik som till exempel godkännanderesultat, genomsnittligt betyg och efterlevnadsresultat för alla testposter.

Steg 5: Analysera data. Jämför modeller över dina framgångskriterier. Identifiera vilken modell som presterar bäst på de kriterier som är viktigast för ditt användningsfall.

Steg 6: Kontrollera enhetlighet. För de bästa 2-3 modellerna, kör samma uppmaning fem gånger mot 5 testposter (25 totala körningar per modell). Hög varians innebär att modellen inte är tillförlitlig för produktion. Välj modeller med låg varians.

Steg 7: Välj baserat på bevis. Välj den modell som presterade bäst efter dina faktiska framgångskriterier, inte efter anseende eller marknadsföringsanspråk. Dokumentera ditt val, inklusive vilka kriterier det vann på, sammanfattningen av testresultaten och datumet för testerna. När nya modeller blir tillgängliga kan du testa igen och jämföra med din baslinje.

Känn till när du ska byta modell

Ditt modellval är inte permanent. Överväg att växla i dessa situationer.

• Nya modeller blir tillgängliga. När Salesforce släpper nya modeller, testa dem mot din baslinje med samma process. Anta inte att nya är lika med bättre.
• Ditt användningsfall ändras. Om kraven ändras — till exempel om du nu behöver stöd för flera språk eller längre utdata — testa modeller igen.
• Prestanda försämras. Om du märker att utdatakvaliteten försämras över tid, testa alternativa modeller. Ibland påverkar modelluppdateringar prestandan för specifika användningsfall.
• Kostnadsöverväganden ändras. Om din volym ökar dramatiskt kan en mer kostnadseffektiv modell fungera även om kvaliteten sjunker något. Analysera om kvalitetsskillnaden är märkbar för slutanvändare och om den påverkar verksamhetsresultat.

Vanliga misstag vid modellval

• Val baserat på allmänna riktmärken. Riktmärken mäter allmän kapacitet. Din specifika uppgift kanske inte stämmer överens med riktmärkesuppgifter. Testa alltid med din faktiska uppmaning och data.
• Testar aldrig igen. Modeller ändras, nya modeller släpps och ditt användningsfall utvecklas. Schemalägg kvartalsvisa modellgranskningar för viktiga uppmaningar.
• Test med artificiella data. Produktionsdata är röriga. Riktiga poster har tomma fält, kantfall och oväntade värden. Testa alltid med riktiga Salesforce-poster.
• Testar en gång. Enskilda tester avslöjar inte problem med enhetlighet. Testa flera gånger med samma indata för att mäta enhetlighet.
• Optimera för fel mått. Definiera först framgångskriterier och testa sedan för dessa specifika kriterier — inte för allmän kvalitet eller kreativitet.

Checklista för modelljämförelse

Vid jämförelse av modeller, utvärdera dessa objekt.

• Precision: Matchar utdata förväntat innehåll och format?
• Konsekvens: Ger upprepade körningar liknande kvalitet?
• Efterlevnad: Passar svar fältstorlek och formatbegränsningar?
• Ton: Matchar röst ditt varumärke och användningsfall?
• Fullständighet: Inkluderas alla obligatoriska element?
• Hastighet: Uppfyller svarstiden användarnas förväntningar?
• Kostnad: Överensstämmer priset med affärsvärdet för detta användningsfall?
• Kantkundcase: Hur hanterar den ovanliga eller minimala data?