Seleccionar el modelo de IA correcto para su plantilla de solicitud

Principios de selección de modelo

La especificidad de tareas es lo más importante. Diferentes modelos sobresalen en diferentes tareas. Lo que funciona para generar correos electrónicos de ventas creativos podría no funcionar para extraer datos estructurados de casos. Pruebe siempre modelos en su caso de uso real, no indicadores generales.

Rendimiento sobre recencia. Un modelo más reciente no es automáticamente mejor para sus necesidades. No tome como valor predeterminado el modelo más reciente: mida el rendimiento en su tarea.

Coste frente a compensaciones de precisión. Los modelos más caros a menudo (pero no siempre) producen resultados de mayor calidad. Compare el coste del modelo con la visibilidad de la respuesta y la repercusión comercial.

La coherencia es fundamental para la producción. Un modelo que produce excelentes respuestas el 80% de las veces y malas respuestas el 20% de las veces no está listo para la producción. Pruebe cada modelo varias veces con las mismas entradas para medir la coherencia, no solo el rendimiento máximo.

Probar y seleccionar un modelo

Siga este proceso para realizar elecciones de modelo basadas en evidencia.

Paso 1: Defina criterios de éxito. Antes de probar cualquier modelo, decida qué significa "bueno" para su caso de uso. Identifique de 2 a 3 criterios mensurables. Por ejemplo, para una solicitud de correo electrónico de ventas: personalización (el correo electrónico hace referencia a detalles de cuenta específicos), tono (profesional pero conversacional, puntuado de 1 a 5) y longitud (100 a 150 palabras).

Paso 2: Cree datos de prueba. Prepare de 10 a 20 ejemplos representativos del uso real. Utilice registros reales de Salesforce, no datos de prueba inventados. Los datos reales afloran casos extremos como campos vacíos, valores inusuales, texto muy largo o corto y caracteres especiales. Incluya una variedad entre sectores, tipos de casos y tamaños de cuentas, e incluya registros típicos y registros que han sido problemáticos.

Paso 3: Pruebe cada modelo. Ejecute su plantilla de solicitud en cada modelo disponible utilizando sus datos de prueba. Utilice exactamente la misma plantilla de solicitud y datos de prueba para todos los modelos, solo cambie la selección del modelo.

Paso 4: Medir resultados. Puntúe cada resultado con respecto a sus criterios de éxito. Calcule estadísticas de resumen como índice de aprobados, puntuación media e índice de cumplimiento entre todos los registros de prueba.

Paso 5: Analice los datos. Compare modelos entre sus criterios de éxito. Identifique qué modelo tiene el mejor rendimiento en los criterios más importantes para su caso de uso.

Paso 6: Comprobar la coherencia. Para los 2 a 3 modelos principales, ejecute la misma solicitud cinco veces frente a 5 registros de prueba (25 ejecuciones en total por modelo). Alta varianza significa que el modelo no es fiable para la producción. Seleccione modelos con baja varianza.

Paso 7: Seleccione basándose en pruebas. Seleccione el modelo que tuvo mejor rendimiento en sus criterios de éxito real, no en reclamaciones de reputación o marketing. Documente su elección, incluyendo en qué criterios ganó, el resumen de resultados de la prueba y la fecha de la prueba. A medida que haya nuevos modelos disponibles, puede volver a probar y comparar con su línea base.

Saber cuándo cambiar modelos

Su elección de modelo no es permanente. Considere cambiar en estas situaciones.

• Los nuevos modelos quedan disponibles. Cuando Salesforce publique nuevos modelos, pruébelos con su línea base utilizando el mismo proceso. No asuma que nuevo es igual a mejor.
• Su caso de uso cambia. Si cambian los requisitos (por ejemplo, ahora necesita compatibilidad con varios idiomas o resultados más largos), vuelva a probar modelos.
• El rendimiento se degrada. Si observa que la calidad de salida disminuye con el tiempo, pruebe modelos alternativos. A veces, las actualizaciones de modelo afectan al rendimiento para casos de uso específicos.
• Las consideraciones de costes cambian. Si su volumen aumenta drásticamente, un modelo más rentable podría tener sentido incluso si la calidad disminuye ligeramente. Analice si la diferencia de calidad es perceptible para los usuarios finales y si afecta a los resultados comerciales.

Errores comunes de selección de modelo

• Selección basada en indicadores generales. Los indicadores miden las funciones generales. Su tarea específica podría no alinearse con tareas de índice. Pruebe siempre con sus datos y solicitudes reales.
• Nunca más pruebas. Los modelos cambian, se publican nuevos modelos y su caso de uso evoluciona. Programe revisiones de modelo trimestrales para solicitudes críticas.
• Pruebas con datos artificiales. Los datos de producción son desordenados. Los registros reales tienen campos vacíos, casos extremos y valores inesperados. Pruebe siempre con registros reales de Salesforce.
• Probando una vez. Las pruebas únicas no revelan problemas de coherencia. Pruebe varias veces con las mismas entradas para medir la coherencia.
• Optimización para la medición incorrecta. Defina los criterios de éxito primero, luego pruebe esos criterios específicos, no para la calidad general o la creatividad.

Lista de comprobación de comparación de modelo

Cuando compare modelos, evalúe estos elementos.

• Precisión: ¿Coincide el resultado con el contenido y el formato esperados?
• Coherencia: ¿Las ejecuciones repetidas producen una calidad similar?
• Cumplimiento: ¿Se ajusta la respuesta a restricciones de formato y tamaño de campo?
• Tono: ¿Coincide la voz con su marca y caso de uso?
• Completitud: ¿Se incluyen todos los elementos obligatorios?
• Velocidad: ¿Cumple el tiempo de respuesta las expectativas del usuario?
• Coste: ¿El precio se alinea con el valor comercial de este caso de uso?
• Casos Edge: ¿Cómo gestiona datos inusuales o mínimos?